自己动手接入
- 注册 AdsCrawl 账号。
- 从控制台复制你的 API Key。
- 选择接口示例,发起第一次 API 请求。
从网页渲染、结构化数据提取到网页截图与真实浏览器连接,五种 API 按需调用,轻松集成。
curl --fail-with-body -sS \
-X POST "https://api.adscrawl.net/html" \
-H "x-api-key: $ADSCRAWL_API_KEY" \
-H "content-type: application/json" \
-d '{
"url": "https://www.adscrawl.net",
"contentMode": "html",
"waitUntil": "domcontentloaded"
}' \
--output page.html
# Use "contentMode": "markdown" for readable text.通过全球代理节点模拟不同地区的真实访问环境,减少地域限制、IP 冲突和节点失效对采集任务的影响。
无需搭建代理池,也无需维护复杂的轮换策略。
在控制台自行配置,或交给你的 AI Agent 协助完成接入。
将一条指令粘贴给编码 Agent,发起注册、获取 API Key 并接入 AdsCrawl;授权由你在浏览器中确认。
请在此代码库中接入 AdsCrawl。使用 https://api.adscrawl.net/auth.md 帮我创建账号并授权 API Key,然后按照 https://api.adscrawl.net/docs/agent-quickstart.md 完成集成。关于 AdsCrawl 接入、网页采集与浏览器自动化,你可能想了解的都在这里。
注册账号后,在控制台获取 API Key,使用上方示例发起请求。将密钥放入 x-api-key 请求头,并保存在服务端。
获取页面内容选 HTML,提取结构化字段选 Scrape,生成网页图片选 Screenshots。需要脚本交互时选 CDP,需要可交互、可复用配置的浏览器时选 Cloud Browser。
可以。浏览器任务会渲染页面后再返回数据。根据接口支持设置 waitUntil 或等待指定选择器,确保所需内容已经加载。
可以。在 POST /html 中设置 contentMode 为 markdown,获取适合阅读的正文;设置为 html 返回渲染后的 HTML,设置为 json 返回正文的结构化结果。
调用 POST /spa-extract,设置 mode 为 extract 并定义 fields。DOM 字段通过 CSS 选择器读取,network 字段可读取匹配的 JSON 响应。结果中的 missingFields 可帮助定位缺失数据。
可以。POST /screenshot 返回 PNG 图片。通过 fullPage 截取整页,或使用 selector 截取第一个匹配元素。请以二进制文件保存响应。
HTTP API 可通过 Node.js fetch、Python requests、cURL 等客户端调用。浏览器自动化可先创建 CDP 会话,再使用返回的 webSocketDebuggerUrl 连接 Playwright。
CDP 创建用于自动化的临时远程浏览器会话。Cloud Browser 保留浏览器配置,并在运行时提供交互界面;停止运行后仍保留配置,方便之后再次启动。
可以。支持代理的接口可传入自定义代理配置。通过 API 启动或创建并启动 Cloud Browser 时,每次请求都必须提供有效代理。代理账号密码应放在独立字段中,不要写入 server URL。
支持的任务接口和云浏览器流程可传入 Cookie。请使用有权访问的账号,并检查 Cookie 的域名、路径和有效期;也可以通过 CDP 会话完成多步骤登录。
不会。关闭查看窗口不会停止云浏览器,也不会停止计费。请调用 stop 接口,并确认 runtime.status 为 stopped。临时 CDP 会话则通过 DELETE /cdp/sessions/:sessionId 释放。
页面加载过慢、代理不可达或等待的选择器未出现,都可能导致超时。请检查响应错误、目标地址和代理连接,并在接口文档允许的范围内调整等待条件与超时时间。
收到 HTTP 402 时,检查控制台中的余额与套餐;收到 HTTP 429 时,降低并发并进行带退避的有限重试。当前套餐和额度以价格页及账号内显示为准。
将上方的 Agent 接入指令复制给编码 Agent,按指引发起注册并完成集成。授权需要由你在浏览器中确认,Agent 随后使用获准的访问权限继续操作。