自己动手接入
- 注册 AdsCrawl 账号。
- 从控制台复制你的 API Key。
- 选择接口示例,发起第一次 API 请求。
难抓的网页,交给真实浏览器
通过 Playwright、Puppeteer 或 CDP 连接真实云浏览器,结合住宅代理,获取 HTML、Markdown、JSON 和网页截图。
AdsCrawl 是面向开发者和 AI Agent 团队的托管云浏览器 API,可用 Playwright、Puppeteer 或 CDP 操作动态网站,在支持的流程中使用住宅代理。注册后可用 500 免费积分测试浏览器任务,启动持久化云浏览器的套餐从每月 9 美元起。如果普通 HTTP 请求已经能拿到需要的数据,直接请求即可省下浏览器运行费用。
云浏览器
在 AdsCrawl 自托管的云端隔离环境中,运行功能齐全的 AdsPower 指纹浏览器。 打开网页即可远程访问,让开发测试、私密浏览和日常工作不再局限于一台设备。
实时视频流传输浏览器画面,点击、输入、滚动和切换标签自然连贯,如同操作本地浏览器。
浏览网页、运行 Web 应用、安装浏览器插件。在熟悉的浏览器里,完成测试、研究和日常任务。
保存浏览器配置与 Cookie,在其他设备登录 AdsCrawl 后继续使用同一环境,减少重复配置与登录。
基于 AdsPower 原生指纹浏览器,版本跟随 AdsPower 更新。每个配置拥有独立的浏览状态,让工作与日常浏览各有空间。
从网页渲染、结构化数据提取到网页截图与真实浏览器连接,五种 API 按需调用,轻松集成。
curl --fail-with-body -sS \
-X POST "https://api.adscrawl.net/html" \
-H "x-api-key: $ADSCRAWL_API_KEY" \
-H "content-type: application/json" \
-d '{
"url": "https://www.adscrawl.net",
"contentMode": "html",
"waitUntil": "domcontentloaded"
}' \
--output page.html
# Use "contentMode": "markdown" for readable text.通过全球代理节点模拟不同地区的真实访问环境,减少地域限制、IP 冲突和节点失效对采集任务的影响。
无需搭建代理池,也无需维护复杂的轮换策略。
在控制台自行配置,或交给你的 AI Agent 协助完成接入。
将一条指令粘贴给编码 Agent,发起注册、获取 API Key 并接入 AdsCrawl;授权由你在浏览器中确认。
请在此代码库中接入 AdsCrawl。使用 https://api.adscrawl.net/auth.md 帮我创建账号并授权 API Key,然后按照 https://api.adscrawl.net/docs/agent-quickstart.md 完成集成。ADSCRAWL 产品
从单次网页请求到可复用的浏览器环境,了解各接口的用途、接入方法与使用边界。
通过 API 创建、启动和停止浏览器配置。使用自己的代理运行完整的 AdsPower 指纹浏览器,打开实时查看器,并在下次任务中复用 Cookie 和设置。
了解产品在浏览器中渲染 JavaScript 页面,提取明确的一组字段,让后续流程接收结构化结果。
了解产品将 URL 转换为 PNG,截取整个页面或聚焦单个元素,并将截图与任务数据一起保存。
了解产品获取文本流程所需的文章内容。渲染页面、请求 Markdown,并为后续处理保留来源。
了解产品创建云端 Chromium 并连接 CDP 客户端,明确管理浏览器创建、协议连接和任务清理。
了解产品在 Node.js 应用中维护浏览器逻辑,通过 CDP 连接临时远程会话,完成页面导航、表单操作与结果采集。
了解产品通过 Puppeteer 控制云端 Chromium。Node.js 应用负责导航与数据提取,AdsCrawl 承载浏览器会话。
了解产品通过保存的浏览器配置继续已授权的账号流程,检查登录状态、完成必要的登录步骤,并在任务结束后停止运行。
了解产品把智能体工具层连接到真实云端浏览器。应用负责选择模型和操作策略,AdsCrawl 提供浏览器会话。
了解产品结合 AI 业务分析与实时搜索,发现同类网站和潜在竞品。通过 API 定期更新你的行业观察清单。
了解产品提取网页标题、描述、封面与 Logo 等元数据,为网站收录、聊天分享和内容收藏构建丰富的链接卡片。
了解产品关于 AdsCrawl 接入、网页采集与浏览器自动化,你可能想了解的都在这里。
注册账号后,在控制台获取 API Key,使用上方示例发起请求。将密钥放入 x-api-key 请求头,并保存在服务端。
获取页面内容选 HTML,提取结构化字段选 Scrape,生成网页图片选 Screenshots。需要脚本交互时选 CDP,需要可交互、可复用配置的浏览器时选 Cloud Browser。
可以。浏览器任务会渲染页面后再返回数据。根据接口支持设置 waitUntil 或等待指定选择器,确保所需内容已经加载。
可以。在 POST /html 中设置 contentMode 为 markdown,获取适合阅读的正文;设置为 html 返回渲染后的 HTML,设置为 json 返回正文的结构化结果。
调用 POST /spa-extract,设置 mode 为 extract 并定义 fields。DOM 字段通过 CSS 选择器读取,network 字段可读取匹配的 JSON 响应。结果中的 missingFields 可帮助定位缺失数据。
可以。POST /screenshot 返回 PNG 图片。通过 fullPage 截取整页,或使用 selector 截取第一个匹配元素。请以二进制文件保存响应。
HTTP API 可通过 Node.js fetch、Python requests、cURL 等客户端调用。浏览器自动化可先创建 CDP 会话,再使用返回的 webSocketDebuggerUrl 连接 Playwright。
CDP 创建用于自动化的临时远程浏览器会话。Cloud Browser 保留浏览器配置,并在运行时提供交互界面;停止运行后仍保留配置,方便之后再次启动。
可以。支持代理的接口可传入自定义代理配置。通过 API 启动或创建并启动 Cloud Browser 时,每次请求都必须提供有效代理。代理账号密码应放在独立字段中,不要写入 server URL。
支持的任务接口和云浏览器流程可传入 Cookie。请使用有权访问的账号,并检查 Cookie 的域名、路径和有效期;也可以通过 CDP 会话完成多步骤登录。
不会。关闭查看窗口不会停止云浏览器,也不会停止计费。请调用 stop 接口,并确认 runtime.status 为 stopped。临时 CDP 会话则通过 DELETE /cdp/sessions/:sessionId 释放。
页面加载过慢、代理不可达或等待的选择器未出现,都可能导致超时。请检查响应错误、目标地址和代理连接,并在接口文档允许的范围内调整等待条件与超时时间。
收到 HTTP 402 时,检查控制台中的余额与套餐;收到 HTTP 429 时,降低并发并进行带退避的有限重试。当前套餐和额度以价格页及账号内显示为准。
将上方的 Agent 接入指令复制给编码 Agent,按指引发起注册并完成集成。授权需要由你在浏览器中确认,Agent 随后使用获准的访问权限继续操作。