跳转到主要内容
全部集成

工作流自动化

在 Dify 中使用 AdsCrawl

通过 AdsCrawl 插件,在 Dify 工作流与 Agent 中将公开网页转为可读内容或结构化字段。从 Dify Marketplace 安装插件,连接 AdsCrawl API Key,即可使用渲染网页或抽取字段工具。

能做什么

01

渲染网页 · Render Page

获取渲染后的 HTML、可读 Markdown 或文章 JSON,也可等待指定 CSS 选择器,将结果聚焦到该元素。

02

抽取字段 · Extract Fields

将字段名映射到 CSS 选择器,返回结构化网页数据,供后续工作流节点使用。

03

串联后续工作流

将网页文本交给 LLM 生成摘要,或将提取的 JSON 用于后续处理与输出节点。

准备工作

  • AdsCrawl 账号和 API Key。
  • 支持安装工具插件、编辑工作流或 Agent 的 Dify 工作区。

接入方式 01

Dify Marketplace 插件

安装并授权后,即可在工作流或 Agent 中选择相应工具。

  1. 安装 AdsCrawl

    打开上方 Marketplace 链接并选择 Install,确认发布者为 adscrawl,将插件安装到你的 Dify 工作区。

  2. 配置插件凭据

    在插件提供方的 AdsCrawl API key 私密字段中填写密钥。插件通过 x-api-key 请求头调用 AdsCrawl HTTPS API,无需配置 MCP 服务。

  3. 读取第一个网页

    在工作流中添加 AdsCrawl → 渲染网页(Render Page),参考下方参数填写对应字段并测试节点。Markdown 结果应包含 Example Domain。以下是节点参数参考,不是工作流导入文件。

    JSON
    {
      "url": "https://example.com",
      "content_mode": "markdown",
      "wait_until": "domcontentloaded",
      "timeout_ms": 60000
    }
  4. 抽取指定字段

    需要结构化数据时,添加 AdsCrawl → 抽取字段(Extract Fields),页面 URL 填写 https://example.com。将下方对象粘贴到字段 JSON(fields_json),即可把页面 h1 对应内容提取到 title 字段。

    JSON
    {
      "title": "h1"
    }
  5. 连接后续节点

    可以搭建网页摘要流程:输入 URL → 渲染网页 → LLM → 输出。使用 Dify 变量选择器,将工具的文本输出映射到 LLM 提示词;抽取字段或文章 JSON 则使用 JSON 输出。传递内容前先检查是否返回 error。

用量与限制

  • API 请求和浏览器会话消耗 AdsCrawl 账号积分,安装客户端不会额外赠送调用额度。
  • 每次工具调用发起一次 API 请求,不自动重试。导航超时支持 1–90 秒,单次结果上限为 1 MiB。
  • 目标须为完整的公开 HTTP(S) URL,仅支持 80 或 443 端口。此插件不接收 Cookie、自定义代理凭据或 CDP 浏览器控制命令。
查看价格与积分换算

继续阅读

Dify Marketplace 上的 AdsCrawlAdsCrawl / adscrawl-dify网页渲染 API结构化提取 API