跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of Firecrawl

Firecrawl

Free 等级项目

Firecrawl 是一个用于大规模搜索、抓取和与网页交互的网页数据 API。它能将内容提取为干净的 Markdown 或结构化数据,供 AI 代理和应用使用,项目开源并提供托管服务。

访问 firecrawl/firecrawl

项目简介

Firecrawl 是一个用于大规模搜索、抓取和与网页交互的网页数据 API。它帮助查找来源、提取内容,并将其转换为 AI 代理可用的干净 Markdown 或结构化数据。项目开源,同时提供托管服务,核心端点包括搜索、抓取和交互,以及 Agent、Crawl、Map 和 Batch Scrape。

核心功能

  • 支持搜索网页并从结果中获取完整页面内容。可将任意 URL 抓取为 Markdown、HTML、截图或结构化 JSON。可使用 AI 提示或代码与已抓取的页面进行交互。提供 Agent 端点,描述所需数据后由 AI 代理搜索、导航并获取数据。支持抓取整站所有 URL、即时映射站点 URL,以及异步批量抓取数千个 URL。可连接 AI 代理和 MCP 客户端,并提供 Python、Node.js、Go、Java、Elixir、Rust、Ruby、.NET 和 PHP 的 SDK。

适用场景

  • 为 AI 代理提供实时网页数据,输出干净 Markdown 或结构化 JSON。搜索网页并获取完整页面内容,用于研究、监控或 RAG 流程。抓取单页或将整个网站抓取为 LLM 可用格式。在事先不知道 URL 时,用提示自动收集数据。

快速开始

  • 在 Firecrawl 网站注册以获取 API 密钥。安装 SDK,例如 Python 使用 pip install firecrawl-py,Node.js 使用 npm install firecrawl。用 API 密钥创建 Firecrawl 客户端,并调用搜索、抓取、Agent、Crawl、Map 或批量抓取等端点。使用 MCP 时,配置 MCP 服务器,运行 npx -y firecrawl-mcp,并设置 FIRECRAWL_API_KEY 环境变量。

部署与要求

  • 托管服务需要 Firecrawl API 密钥,可在 Firecrawl 网站注册获取。项目开源,可在本地运行,贡献指南提供本地设置说明。项目可自行托管,有单独的自托管指南。云版本相比开源版本包含附加功能。

采用前须知

  • 许可证:AGPL-3.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 Firecrawl 的项目

Favicon of 矩媒 MatrixMedia

矩媒 MatrixMedia

Free 等级项目星标数: 1.3K

多平台视频矩阵发布与批量分发工具

MCP 服务与工具连接器

矩媒 MatrixMedia 是开源的多平台视频矩阵发布与批量分发工具,基于 Electron 与 CLI。一次准备内容,可批量分发到抖音、快手、小红书、视频号、哔哩哔哩等账号矩阵,并提供 CLI、HTTP API 与 MCP,方便脚本和 AI 编排。

Favicon of Pinky

Pinky

Free 等级项目星标数: 1.6K

让 AI 智能体使用你的手机,你全程掌控

MCP 服务与工具连接器

Pinky 是一款跨平台桌面应用,让 Claude Code、Codex、Cursor 等支持 MCP 的智能体或脚本操作真实的 iPhone 与 Android 手机;你可以在电脑上观看过程、批准风险步骤,并回看每次运行的记录。

Favicon of GBrain

GBrain

Free 等级项目星标数: 31.9K

为 AI 代理提供可控的共享记忆层

MCP 服务与工具连接器

GBrain 是面向现有 AI 代理的自托管记忆层,存储带来源的显式事实,支持更正与撤回,并提供关键词、语义、图谱检索及可选的带引用综合。