Markdown 或字段提取
生成研究语料正文,或将指定字段提取为结构化结果;两种产物需要不同完整性检查。
通过 Crawl4AI 的 Python、部署 API 或文档中的 MCP 接口收集页面内容,用于调查与数据处理;先限定抓取范围,再验证提取字段。
三页样本用于区分源页面缺项、加载失败和提取错误,再据此调整字段定义,而不是立即扩大采集。
起始网址、允许域名、最多三页且不递归、必需字段、已配置端点,以及 JSON/CSV/Markdown 输出格式。
复制请求,在 Floatboat 新对话中粘贴,并提供所需资料。
下载 Floatboat请求可预览和复制,不会从此处自动发送。
参考来源: Crawl4AI https://github.com/unclecode/crawl4ai 先阅读原始说明并核对当前环境与依赖。需要安装或连接新工具时,先提出方案。 我的任务: 使用已配置 Crawl4AI 端点,在允许域名内最多采集三个给定页面,不递归。按选择的 JSON、CSV 或 Markdown 格式提取指定字段,保留来源网址,区分原页缺项、加载错误和提取错误。 期望交付: 带来源、必需字段、缺失内容及提取错误的样本。证据不足时列出失败步骤与未解决问题。
Crawl4AI 将页面转为研究与数据流程使用的 Markdown 或结构化字段。Python 提供 CSS、XPath、正则和模型辅助提取;官方 Cloud MCP、API 提供托管执行,Python 与自部署 API、MCP 则由操作者控制运行环境。采样前分别确定输出与部署。
外部 Agent 可按官方说明为 Cursor、Codex 配置 Cloud MCP,也可接入自部署 API 或 MCP。Cloud 使用独立密钥和托管浏览器执行;自部署服务需维护浏览器依赖及认证。Python 库则是应用开发入口。
仓库采用 Apache-2.0。浏览器渲染、网络访问及模型提取有各自资源和凭据要求。当前未在主仓确认官方用户 Skill,社区 Skill 需按真实维护者标明,不能作为上游官方指引。
先确定数据产物,再选择提取策略和运行环境;托管与自部署具有不同依赖与认证。
生成研究语料正文,或将指定字段提取为结构化结果;两种产物需要不同完整性检查。
Python 支持 CSS、XPath、正则及模型辅助策略,结构稳定的页面不必增加模型提取步骤。
Cloud MCP、API 使用托管运行及 Cloud 认证;Python 与自部署 API、MCP 由操作者维护运行环境。
研究语料、比较表、文档更新与 MCP 提取各有完整性检查。需区分抓取失败和来源空值,保留出处后再扩大采集,避免格式正确的文本或对象掩盖实际遗漏。
提供允许域名、起始 URL 与调查所需内容区块,先收集有限样本并保留每份文档来源。检查重复导航和缺失正文,再判断语料是否足以支持报告。
提供最多三个产品 URL 和名称、价格、库存要求,选择库的策略或 Cloud 提取接口。校验结构并对照来源抽查数值,缺失字段使用约定标记;获取失败另列,不能将无法访问误写成产品无货。
对明确文档区域收集指定页面,与用户提供的旧快照比较,保留 URL 及获取上下文,让新增和删除可审阅,避免把抓取遗漏当成上游改动。
将宿主连接到准备好的 Crawl4AI 服务,先执行一次小规模提取,返回字段、来源和失败信息,再决定是否扩大任务。MCP 连通不等于范围和数据质量已合格。
Cloud 与自部署前提不同,只有后者需要你维护抓取运行环境。
准备 Cloud 密钥与官方托管连接,提取和用量按 Cloud 服务条款使用,不必在本机运行 Python 或 Docker 抓取后端。
准备文档中的 Python、浏览器依赖或 Docker,并配置 API、MCP 服务认证;仅在策略需要时准备模型凭据。
提供最多三个允许 URL、指定字段、JSON、CSV 或 Markdown 格式,以及代表值的来源核对材料。
从允许网站内最多三个起始 URL、明确字段及 JSON、CSV 或 Markdown 格式开始。小样本先暴露提取与覆盖问题,再考虑递归或批量任务。
官方 Cloud MCP、API 使用 Cloud 密钥调用托管执行,不要求本地抓取后端。自部署 API、MCP 使用自行维护的服务及认证。需要在应用代码控制策略与浏览器配置时选择 Python。
首轮只访问提供的 URL,不跟随更多链接。明确需要页面 Markdown 还是指定字段。Python 的 CSS、XPath 和正则策略可不经模型提取稳定结构;模型辅助提取另有配置。Cloud 按其提取接口使用。
每份结果保留来源 URL,对照代表性正文检查字段,区分获取失败、提取错误和真实空值。文档 Markdown 还需检查正文是否被导航或重复页头占据。
字段持续缺失时,先检查页面结构、加载条件和提取规则,再增加 URL。交付已核对记录、未解决页面及所用策略,确认范围与样本质量后才提高页数或跟随链接。
比较这些项目的用途、运行条件和源码许可。