Firecrawl

项目简介

Firecrawl 是一个用于大规模搜索、抓取和与网页交互的网页数据 API。它帮助查找来源、提取内容，并将其转换为 AI 代理可用的干净 Markdown 或结构化数据。项目开源，同时提供托管服务，核心端点包括搜索、抓取和交互，以及 Agent、Crawl、Map 和 Batch Scrape。

核心功能

• 支持搜索网页并从结果中获取完整页面内容。可将任意 URL 抓取为 Markdown、HTML、截图或结构化 JSON。可使用 AI 提示或代码与已抓取的页面进行交互。提供 Agent 端点，描述所需数据后由 AI 代理搜索、导航并获取数据。支持抓取整站所有 URL、即时映射站点 URL，以及异步批量抓取数千个 URL。可连接 AI 代理和 MCP 客户端，并提供 Python、Node.js、Go、Java、Elixir、Rust、Ruby、.NET 和 PHP 的 SDK。

适用场景

• 为 AI 代理提供实时网页数据，输出干净 Markdown 或结构化 JSON。搜索网页并获取完整页面内容，用于研究、监控或 RAG 流程。抓取单页或将整个网站抓取为 LLM 可用格式。在事先不知道 URL 时，用提示自动收集数据。

快速开始

• 在 Firecrawl 网站注册以获取 API 密钥。安装 SDK，例如 Python 使用 pip install firecrawl-py，Node.js 使用 npm install firecrawl。用 API 密钥创建 Firecrawl 客户端，并调用搜索、抓取、Agent、Crawl、Map 或批量抓取等端点。使用 MCP 时，配置 MCP 服务器，运行 npx -y firecrawl-mcp，并设置 FIRECRAWL_API_KEY 环境变量。

部署与要求

• 托管服务需要 Firecrawl API 密钥，可在 Firecrawl 网站注册获取。项目开源，可在本地运行，贡献指南提供本地设置说明。项目可自行托管，有单独的自托管指南。云版本相比开源版本包含附加功能。

采用前须知

• 许可证：AGPL-3.0。在使用、修改或分发项目前，请确认其具体条款。