Crawl4AI

通过 Crawl4AI 的 Python、部署 API 或文档中的 MCP 接口收集页面内容,用于调查与数据处理;先限定抓取范围,再验证提取字段。

提取有限研究样本

三页样本用于区分源页面缺项、加载失败和提取错误,再据此调整字段定义,而不是立即扩大采集。

起始网址、允许域名、最多三页且不递归、必需字段、已配置端点,以及 JSON/CSV/Markdown 输出格式。

复制请求,在 Floatboat 新对话中粘贴,并提供所需资料。

下载 Floatboat

带入 Floatboat 的请求

请求可预览和复制,不会从此处自动发送。

参考来源: Crawl4AI
https://github.com/unclecode/crawl4ai

先阅读原始说明并核对当前环境与依赖。需要安装或连接新工具时,先提出方案。

我的任务:
使用已配置 Crawl4AI 端点,在允许域名内最多采集三个给定页面,不递归。按选择的 JSON、CSV 或 Markdown 格式提取指定字段,保留来源网址,区分原页缺项、加载错误和提取错误。

期望交付:
带来源、必需字段、缺失内容及提取错误的样本。证据不足时列出失败步骤与未解决问题。

关于 Crawl4AI

Crawl4AI 将页面转为研究与数据流程使用的 Markdown 或结构化字段。Python 提供 CSS、XPath、正则和模型辅助提取;官方 Cloud MCP、API 提供托管执行,Python 与自部署 API、MCP 则由操作者控制运行环境。采样前分别确定输出与部署。

外部 Agent 可按官方说明为 Cursor、Codex 配置 Cloud MCP,也可接入自部署 API 或 MCP。Cloud 使用独立密钥和托管浏览器执行;自部署服务需维护浏览器依赖及认证。Python 库则是应用开发入口。

仓库采用 Apache-2.0。浏览器渲染、网络访问及模型提取有各自资源和凭据要求。当前未在主仓确认官方用户 Skill,社区 Skill 需按真实维护者标明,不能作为上游官方指引。

Crawl4AI 在浏览器流程中的作用

先确定数据产物,再选择提取策略和运行环境;托管与自部署具有不同依赖与认证。

  • Markdown 或字段提取

    生成研究语料正文,或将指定字段提取为结构化结果;两种产物需要不同完整性检查。

  • 按策略提取的库

    Python 支持 CSS、XPath、正则及模型辅助策略,结构稳定的页面不必增加模型提取步骤。

  • 托管或自行运维执行

    Cloud MCP、API 使用托管运行及 Cloud 认证;Python 与自部署 API、MCP 由操作者维护运行环境。

Crawl4AI 使用场景

研究语料、比较表、文档更新与 MCP 提取各有完整性检查。需区分抓取失败和来源空值,保留出处后再扩大采集,避免格式正确的文本或对象掩盖实际遗漏。

建立有来源的研究语料

提供允许域名、起始 URL 与调查所需内容区块,先收集有限样本并保留每份文档来源。检查重复导航和缺失正文,再判断语料是否足以支持报告。

提取三页产品比较表

提供最多三个产品 URL 和名称、价格、库存要求,选择库的策略或 Cloud 提取接口。校验结构并对照来源抽查数值,缺失字段使用约定标记;获取失败另列,不能将无法访问误写成产品无货。

更新文档输入

对明确文档区域收集指定页面,与用户提供的旧快照比较,保留 URL 及获取上下文,让新增和删除可审阅,避免把抓取遗漏当成上游改动。

通过 MCP 提供结构化数据

将宿主连接到准备好的 Crawl4AI 服务,先执行一次小规模提取,返回字段、来源和失败信息,再决定是否扩大任务。MCP 连通不等于范围和数据质量已合格。

选择执行入口

Cloud 与自部署前提不同,只有后者需要你维护抓取运行环境。

  • Cloud MCP 或 API

    准备 Cloud 密钥与官方托管连接,提取和用量按 Cloud 服务条款使用,不必在本机运行 Python 或 Docker 抓取后端。

  • Python 或自部署服务

    准备文档中的 Python、浏览器依赖或 Docker,并配置 API、MCP 服务认证;仅在策略需要时准备模型凭据。

  • 样本要求

    提供最多三个允许 URL、指定字段、JSON、CSV 或 Markdown 格式,以及代表值的来源核对材料。

生成三页提取样本

从允许网站内最多三个起始 URL、明确字段及 JSON、CSV 或 Markdown 格式开始。小样本先暴露提取与覆盖问题,再考虑递归或批量任务。

  1. 选择 Cloud、服务端或 Python

    官方 Cloud MCP、API 使用 Cloud 密钥调用托管执行,不要求本地抓取后端。自部署 API、MCP 使用自行维护的服务及认证。需要在应用代码控制策略与浏览器配置时选择 Python。

  2. 分别定义采集与提取

    首轮只访问提供的 URL,不跟随更多链接。明确需要页面 Markdown 还是指定字段。Python 的 CSS、XPath 和正则策略可不经模型提取稳定结构;模型辅助提取另有配置。Cloud 按其提取接口使用。

  3. 采集并逐页核对

    每份结果保留来源 URL,对照代表性正文检查字段,区分获取失败、提取错误和真实空值。文档 Markdown 还需检查正文是否被导航或重复页头占据。

  4. 调整策略后再扩大范围

    字段持续缺失时,先检查页面结构、加载条件和提取规则,再增加 URL。交付已核对记录、未解决页面及所用策略,确认范围与样本质量后才提高页数或跟随链接。

相关软件项目

比较这些项目的用途、运行条件和源码许可。

Crawl4AI 常见问题

Crawl4AI 主要是浏览器任务 Agent 吗?
主要职责是为下游数据使用抓取和提取内容。采集时可以渲染或交互,但不能据此承诺任意登录业务流程。
何时需要 Python 或 Docker 而不是 Cloud MCP?
Cloud MCP 用 Cloud 密钥调用托管服务,不要求本地后端。应用控制策略可选 Python,自行运维可选 Docker、API 或 MCP;Cloud 凭据、用量及自部署依赖分别准备。
提取必须调用模型吗?
按内容和字段选择提取方式。模型辅助提取有独立配置与成本,不能假定每次抓取都需要模型密钥。
已确认官方 Skill 吗?
当前确认上游库与服务文档,未在主仓确认官方用户 Skill;社区包装属于有独立维护者的来源。
怎样限定抓取范围?
运行前明确起始 URL、允许网站、页面限制、目标内容与字段,扩大前检查样本,尽早发现导航循环和无关页面。
什么样的输出适合 Agent 使用?
保留来源,检查必填字段、标明缺失内容,区分提取错误和实际空值。Markdown 或 JSON 格式正确不代表事实完整。