跳至主要内容

JavaScript 渲染、内容提取与代理

AdsCrawl vs ScrapingBee

两者都能将网页转换为内容和数据。比较页面操作如何定义、字段如何选择、状态如何管理及代理如何配置,再选择适合采集流程的 API。

由 AdsCrawl 编写 · 官方文档核查日期:
基于文档的功能对比,未进行性能基准测试。

AdsCrawl 与 ScrapingBee 的产品对比横幅
AdsCrawl Cloud Browser 将 AdsPower 指纹浏览器带到云端:真实原生指纹、独立环境隔离,并跟随 AdsPower 版本更新。

Powered by AdsPower

为什么选择 AdsCrawl Cloud Browser

将 AdsPower 指纹浏览器保存为可复用的云端环境,通过 API 创建、启动和停止配置,为重复任务保留专属浏览器环境。

来自 AdsPower 的真实原生指纹

Cloud Browser 运行 AdsPower 指纹浏览器,将真实原生指纹与 AdsPower 浏览器技术直接带到云端工作流。

每个配置都有独立隔离的环境

为不同任务或账号分配独立的浏览器环境,分别管理指纹配置和浏览器状态。保存配置后,可在后续任务中继续复用。

跟随 AdsPower 浏览器版本更新

Cloud Browser 跟随 AdsPower 指纹浏览器版本更新,持续将浏览器内核与指纹能力的改进带到云端环境。

按工作流选型

何时考虑 AdsCrawl

  • 希望在 Cloud Browser 使用 AdsPower 指纹浏览器,获得真实原生指纹、独立环境隔离及跟随 AdsPower 的版本更新;通过 API Key 启动需自有代理,运行需付费套餐。
  • 已有 Playwright 或 Puppeteer 脚本,希望明确管理临时 Remote CDP 会话的创建、连接和删除。
  • 需要通过专门的任务接口获取命名 DOM/network 字段、Readability 文章输出或同步 PNG。

何时考虑 ScrapingBee

  • 目标为公开页面,希望在一个 HTTP 采集请求中配置渲染、等待条件和代理选项。
  • 希望使用 CSS/XPath 提取规则,或通过 prompt 与带类型的字段规则进行 AI 提取。
  • 需要在提取前顺序执行页面操作,并通过场景执行报告检查过程。

这些是依据下方文档能力提出的选型建议,并不表示另一家无法完成相同任务。

逐项核对

能力、生命周期与计费

每行附有双方官方资料。代理和会话行为按具体产品区分,接入前请再次核对当前接口契约。

左右滑动表格,查看双方能力 →

AdsCrawl 与 ScrapingBee 的已记录能力
比较维度AdsCrawlScrapingBee
渲染与就绪条件

POST /html 使用浏览器返回渲染后的页面内容。按具体接口选择文档支持的就绪与超时选项,多步骤页面任务可使用 SPA 提取操作。

AdsCrawl 参考资料

render_js 控制 JavaScript 渲染;wait_for 等待元素,wait 添加延迟,wait_browser 选择加载条件。资源拦截可能影响页面实际加载的内容。

Rendering & waits

Markdown 与文章内容

POST /html 可通过 Readability 返回文章 Markdown 或文章 JSON,需要能识别的文章正文;这与任意字段 schema 提取不同。

AdsCrawl 参考资料

提供 Markdown 和纯文本输出选项。按下游流程选择格式,再验证原网页中哪些内容得到保留或被移除。

Markdown Scraper

结构化字段

POST /spa-extract 返回命名 DOM/network 字段或已发布模板的输出,由应用选择字段并验证值。

AdsCrawl 参考资料

extract_rules 通过 CSS/XPath 提取文本、属性、列表及嵌套数据;ai_query、ai_extract_rules 使用自然语言描述和带类型的字段规则,属于另一种提取模式。

Rule & AI extraction

页面操作与浏览器控制

SPA 提取支持文档中列出的页面操作;自定义自动化可通过 Playwright 或 Puppeteer 连接临时 Remote CDP,并管理会话生命周期。

AdsCrawl 参考资料

js_scenario 在返回内容前,顺序执行点击、填写、滚动、等待和 JavaScript;strict 控制遇错是否中止,json_response 可返回场景执行报告。

JavaScript Scenario

Cookie、状态与目标范围

Cloud Browser 停止后保留配置,可再次启动;Cookie 输入与临时 Remote CDP 另有对应文档,应按任务选择生命周期。

AdsCrawl 参考资料

可传入 Cookie,session_id 用于文档描述的固定 IP 场景。其当前 HTML API 知识库允许登录前页面、禁止登录后采集;这是服务政策,不代表技术上不能传 Cookie。

Cookie & session parametersPermitted pagesAcceptable use policy

代理配置

Cloud Browser 运行需要付费套餐,每次通过 API Key 启动时需显式传入有效代理;临时 CDP 与浏览器任务也提供托管路由。

AdsCrawl 参考资料

支持托管代理层级、地区选项及 own_proxy 自有代理。仅适用于 GET 的 Auto-Mode 选择渲染与代理组合,页面操作和等待条件仍需自行配置。

Proxy parametersAuto-Mode

截图

POST /screenshot 同步返回 PNG 字节;可选择整页或首个 CSS 匹配元素,selector 优先。

AdsCrawl 参考资料

支持视口、整页和元素截图,可配置视口尺寸;也可在同一请求中获取 HTML 与截图,应选择应用能够处理的响应选项。

Screenshot APIScreenshot parameters

Credits 与并发

比较套餐 credits、浏览器并发、保存配置和 API Key 上限,将运行清理计入费用评估,完成后显式停止 Cloud Browser。

AdsCrawl 参考资料

Credits 随渲染和代理选项变化,AI 提取增加用量;套餐另列并发额度。处理错误时还需检查状态码计费规则,按相同可用输出比较实际消耗。

Credit systemStatus-code billingCurrent plans

按完整请求的结果来比较

  1. 一起确定输出和就绪条件

    使用相同公开网址,明确何时内容才算就绪,分别比较渲染 HTML、Markdown、字段与截图。网络请求结束,不代表延迟加载的价格或表格已经出现。

  2. 明确请求之间的状态

    列出需要保留的是 IP、Cookie、应用存储还是运行中的页面,再逐项检查文档中的实现方式。保存配置应验证停止后重启;请求参数则应确认应用需要重新传入哪些内容。

  3. 同时统计可用结果与费用

    验证缺失字段、操作失败、HTTP 错误和重试,并记录渲染、代理、AI 选项及实际用量。按相同可用输出比较成本,不能直接等同两家的 credits。

生成一个 AdsCrawl 请求 →

常见问题

ScrapingBee 的 session_id 等于保存浏览器配置吗?

应按文档中的固定 IP 参数理解,不能据此推断会恢复 Cookie、存储或运行中的页面。AdsCrawl 的保存配置 Cloud Browser 与临时 Remote CDP 会话有各自生命周期;迁移前应明确实际需要保留的状态。

两者都能为 AI 流程返回 Markdown 吗?

能。AdsCrawl 使用 Readability 提取文章 Markdown;ScrapingBee 也提供 Markdown 输出选项。应使用真实页面验证标题、链接、表格和缺失章节;格式相同不保证正文选择或后续提取效果相同。

ScrapingBee 只对 HTTP 200 响应计费吗?

不是。文档列出的默认计费响应包括 200、404、410 和 413。启用 transparent_status_code 后,目标响应低于 500 会计费,5xx 免费;该模式关闭自动重试。估算失败请求费用前,应先确认所用模式。