跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of Crawl4AI

Crawl4AI

Free 等级项目

Crawl4AI 是面向 LLM 与 AI 代理的开源网络爬虫与抓取工具,可将任意网站转换为干净、适合 LLM 的 Markdown,用于 RAG、AI 代理与数据管道。既可免费自托管,也可通过单个密钥使用 Crawl4AI Cloud。

访问 unclecode/crawl4ai

项目简介

Crawl4AI 是面向 LLM 与 AI 代理的开源网络爬虫和抓取工具。它能把网站转换为干净、适合 LLM 的 Markdown,供 RAG、AI 代理和数据管道使用。可以用 Python、CLI、Docker 和 MCP 免费自托管,也可以通过 Crawl4AI Cloud 使用一个 API 密钥来使用。

核心功能

  • 生成适合 LLM 的干净 Markdown,包含标题、列表、表格、代码块与引用提示。支持通过 CSS、XPath、正则或 LLM 策略进行结构化数据提取,输出类型化 JSON。浏览器控制包括持久化配置文件、远程 CDP 连接、会话、代理、隐身模式,以及 Chromium、Firefox 和 WebKit。深度爬取支持 BFS、DFS、最佳优先策略、崩溃恢复、自适应爬取与 URL 发现。自托管方式包括 Python 库、CLI、Docker REST API、MCP 服务器、仪表板和演练场。Crawl4AI Cloud

适用场景

  • 将干净的 Markdown 输入 RAG 管道和 AI 代理。使用 CSS、XPath、正则或 LLM 提取从网站提取类型化 JSON 记录。通过托管 API 运行网络搜索并获取直接答案。为数据管道和研究大规模爬取大量页面。

快速开始

  • 通过 pip install -U crawl4ai 安装开源库,并运行 crawl4ai-setup。使用 Python 的 AsyncWebCrawler 获取 URL 并打印 result.markdown。云端使用时,获取 API 密钥,并用 Bearer 令牌调用托管的 scrape、search、answer 或 extract 端点。通过一行配置将云端 MCP 服务器添加到 Claude Code、Codex、Cursor 或 OpenCode 等代理中。

部署与要求

  • 该库支持 Python 3.10 至 3.13。crawl4ai-setup 会安装并设置浏览器;如果失败,请手动安装 Playwright Chromium。Docker 服务器需要 CRAWL4AI_API_TOKEN;没有令牌时,它只能在其容器内响应。Crawl4AI Cloud 需要 API 密钥,并使用托管服务,而不需要自己运行浏览器或代理。

采用前须知

  • 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 Crawl4AI 的项目

Favicon of 矩媒 MatrixMedia

矩媒 MatrixMedia

Free 等级项目星标数: 1.3K

多平台视频矩阵发布与批量分发工具

MCP 服务与工具连接器

矩媒 MatrixMedia 是开源的多平台视频矩阵发布与批量分发工具,基于 Electron 与 CLI。一次准备内容,可批量分发到抖音、快手、小红书、视频号、哔哩哔哩等账号矩阵,并提供 CLI、HTTP API 与 MCP,方便脚本和 AI 编排。

Favicon of Pinky

Pinky

Free 等级项目星标数: 1.6K

让 AI 智能体使用你的手机,你全程掌控

MCP 服务与工具连接器

Pinky 是一款跨平台桌面应用,让 Claude Code、Codex、Cursor 等支持 MCP 的智能体或脚本操作真实的 iPhone 与 Android 手机;你可以在电脑上观看过程、批准风险步骤,并回看每次运行的记录。

Favicon of GBrain

GBrain

Free 等级项目星标数: 31.9K

为 AI 代理提供可控的共享记忆层

MCP 服务与工具连接器

GBrain 是面向现有 AI 代理的自托管记忆层,存储带来源的显式事实,支持更正与撤回,并提供关键词、语义、图谱检索及可选的带引用综合。