工作流自动化
在 Dify 中使用 AdsCrawl
通过 AdsCrawl 插件,在 Dify 工作流与 Agent 中将公开网页转为可读内容或结构化字段。从 Dify Marketplace 安装插件,连接 AdsCrawl API Key,即可使用渲染网页或抽取字段工具。
能做什么
渲染网页 · Render Page
获取渲染后的 HTML、可读 Markdown 或文章 JSON,也可等待指定 CSS 选择器,将结果聚焦到该元素。
抽取字段 · Extract Fields
将字段名映射到 CSS 选择器,返回结构化网页数据,供后续工作流节点使用。
串联后续工作流
将网页文本交给 LLM 生成摘要,或将提取的 JSON 用于后续处理与输出节点。
准备工作
- AdsCrawl 账号和 API Key。
- 支持安装工具插件、编辑工作流或 Agent 的 Dify 工作区。
接入方式 01
Dify Marketplace 插件
安装并授权后,即可在工作流或 Agent 中选择相应工具。
安装 AdsCrawl
打开上方 Marketplace 链接并选择 Install,确认发布者为 adscrawl,将插件安装到你的 Dify 工作区。
配置插件凭据
在插件提供方的 AdsCrawl API key 私密字段中填写密钥。插件通过 x-api-key 请求头调用 AdsCrawl HTTPS API,无需配置 MCP 服务。
读取第一个网页
在工作流中添加 AdsCrawl → 渲染网页(Render Page),参考下方参数填写对应字段并测试节点。Markdown 结果应包含 Example Domain。以下是节点参数参考,不是工作流导入文件。
{ "url": "https://example.com", "content_mode": "markdown", "wait_until": "domcontentloaded", "timeout_ms": 60000 }抽取指定字段
需要结构化数据时,添加 AdsCrawl → 抽取字段(Extract Fields),页面 URL 填写 https://example.com。将下方对象粘贴到字段 JSON(fields_json),即可把页面 h1 对应内容提取到 title 字段。
{ "title": "h1" }连接后续节点
可以搭建网页摘要流程:输入 URL → 渲染网页 → LLM → 输出。使用 Dify 变量选择器,将工具的文本输出映射到 LLM 提示词;抽取字段或文章 JSON 则使用 JSON 输出。传递内容前先检查是否返回 error。
用量与限制
- API 请求和浏览器会话消耗 AdsCrawl 账号积分,安装客户端不会额外赠送调用额度。
- 每次工具调用发起一次 API 请求,不自动重试。导航超时支持 1–90 秒,单次结果上限为 1 MiB。
- 目标须为完整的公开 HTTP(S) URL,仅支持 80 或 443 端口。此插件不接收 Cookie、自定义代理凭据或 CDP 浏览器控制命令。