WaterCrawl

项目简介

WaterCrawl 是一个自托管的 Web 应用，使用 Python、Django、Scrapy 和 Celery 构建。它将可配置的网页爬取与抓取同搜索引擎结合起来，并通过 REST API 以及面向 AI 和自动化平台的集成对外提供。

核心功能

• 功能包括：高级网页爬取与抓取，可配置深度、速度和目标内容；搜索支持基础、高级、终极三种深度；多语言支持并可针对国家/地区定向；通过 Server-Sent Events 实时查看异步任务进度；提供带 OpenAPI 文档的 REST API 和客户端库；可与 Dify、N8N 及其他 AI 或自动化平台集成。

适用场景

• 适用于：为 AI 流水线准备可供 LLM 使用的网站数据；在自托管基础设施上开展网页研究和数据收集；通过 Dify、N8N 或 REST API 将网页爬取与搜索接入自动化工作流。

快速开始

• 克隆 WaterCrawl 仓库并进入项目目录；在 docker 目录中把 .env.example 复制为 .env；运行 docker compose up -d；在浏览器打开 localhost 访问应用。

部署与要求

• 文档中的快速启动路径使用 Docker；如果部署在 localhost 之外的域名或 IP，需要更新 .env 中的 MINIO_EXTERNAL_ENDPOINT、MINIO_BROWSER_REDIRECT_URL 和 MINIO_SERVER_URL；生产部署前需更新 .env，并配置数据库、MinIO 及其他所需服务。

采用前须知

• 许可证：Other。在使用、修改或分发项目前，请确认其具体条款。