跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“网页抓取”的工具

Favicon of Firecrawl

Firecrawl

Free 等级项目星标数: 184.8K

用于大规模搜索、抓取和交互的网页数据 API

MCP 服务与工具连接器

Firecrawl 是一个用于大规模搜索、抓取和与网页交互的网页数据 API。它能将内容提取为干净的 Markdown 或结构化数据,供 AI 代理和应用使用,项目开源并提供托管服务。

Favicon of Agent Reach

Agent Reach

Free 等级项目星标数: 98.8K

给你的 AI Agent 一键装上互联网能力

MCP 服务与工具连接器

Agent Reach 是面向 AI Agent 的互联网能力层,通过一条 CLI 接入并路由多种读取与搜索渠道,覆盖网页、YouTube、RSS、GitHub、Twitter/X、B站、Reddit、小红书等平台;强调零 API 费用、本地保存凭据和自带诊断。

Favicon of Scrapling

Scrapling

Free 等级项目星标数: 93.2K

面向现代 Web 的轻松网页抓取

网页抓取与提取

Scrapling 是一个 Python 网页抓取框架,支持快速 HTTP 请求、隐蔽浏览器、强大解析与并发爬取,可从单次请求扩展到全站抓取。

Favicon of Crawl4AI

Crawl4AI

Free 等级项目星标数: 84.3K

面向 LLM 与 AI 代理的开源网络爬虫

MCP 服务与工具连接器

Crawl4AI 是面向 LLM 与 AI 代理的开源网络爬虫与抓取工具,可将任意网站转换为干净、适合 LLM 的 Markdown,用于 RAG、AI 代理与数据管道。既可免费自托管,也可通过单个密钥使用 Crawl4AI Cloud。

Favicon of Lightpanda

Lightpanda

Free 等级项目星标数: 35.6K

为AI代理与自动化而生的无头浏览器

浏览器智能体

Lightpanda 是一款用 Zig 从头构建的无头浏览器引擎,专为 AI 代理和自动化设计。它执行 JavaScript 但不进行图形渲染,提供快速、可扩展的 Web 自动化,内存占用极低——比无头 Chrome 快 9 倍、内存少 16 倍。

Favicon of Moli

Moli

Free 等级项目星标数: 20.6K

面向 AI 智能体的开源无头浏览器

智能体 SDK 与运行时

Moli 是用 Rust 构建的开源无头浏览器,面向 AI 智能体,可通过 CLI、CDP 和 WebDriver 获取与提取网页、搜索网页并自动化浏览器任务,采用结构优先设计,仅在需要时进行布局和绘制。

Favicon of ai-goofish-monitor

ai-goofish-monitor

Free 等级项目星标数: 16.2K

基于 Playwright 与 AI 的闲鱼多任务监控与分析系统

浏览器智能体

基于 Playwright 和 AI 的闲鱼多任务实时/定时监控与智能分析系统,提供完整的 Web 管理界面,帮助用户从海量商品中筛选心仪产品。

Favicon of WaterCrawl

WaterCrawl

Free 等级项目星标数: 2.2K

开源自托管网页抓取与搜索引擎

检索与搜索引擎

WaterCrawl 是一个开源、自托管的网页爬虫、抓取与搜索引擎,可将网页内容转换为结构化、可供 LLM 使用的数据,用于 AI 流水线和自动化工作流。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告