01 / 产品介绍
什么是登录态网页抓取?
登录态网页抓取是获取需要有效账号会话才能访问的内容。AdsCrawl 保存的云浏览器配置可在多次运行间保留浏览器环境,为持久化会话流程提供基础;登录是否仍然有效由目标网站决定。
云浏览器 API:管理本流程使用的保存配置:创建、携带代理启动、查询状态,并停止以供下次复用。
远程 CDP 浏览器:登录与采集可在一次运行内完成时,选择临时脚本会话;保存配置不会自动导入。
问题直答
多个云端 worker 之间,如何复用浏览器会话?
由独立于 worker 的任务系统管理会话归属,并区分运行中的会话与保存的配置。使用 AdsCrawl Cloud Browser 时保存配置 ID,让后续任务重新启动同一环境。这会保留受支持的配置状态,不代表浏览器永远运行或账号永久登录。临时 Remote CDP 会话有独立有效期,不会自动转成保存配置。
- 在任务系统中建立账号与配置 ID 的映射,用租约或锁确保同一时间只有一个 worker 控制该配置。
- 继续操作前查询运行状态,并检查网站登录态;通过 API Key 启动时需显式传入有效代理。
- 任务结束后停止浏览器,确认 stopped 再交接控制权。网站要求重新认证时按要求登录。
02 / 适用场景
适合哪些任务?
01继续账号流程
为已授权访问的账号复用保存配置,采集前确认页面显示正确的登录状态。
02处理交互式登录
通过需要登录的实时查看器检查状态,并手动完成必要步骤;保存配置不会跳过 MFA 或会话过期。
03隔离不同账号环境
需要独立 Cookie 和代理设置的流程使用不同配置,避免将凭证或会话数据写入公开代码。
03 / 快速开始
从一个完整流程开始
- 使用有效的显式代理创建或启动保存配置;示例展示创建启动及停止流程。
- 登录 AdsCrawl 后打开 runtime.connectUrl,完成目标网站已授权的登录流程。
- 确认账号和内容后继续采集流程;仅启动浏览器不会自动提取数据。
- 停止运行并确认已停止,保留配置 ID 供以后启动,不要重复创建新配置。
示例环境:Bash、cURL 与 jq。 先在服务端设置 ADSCRAWL_API_KEY 环境变量。
完整参数与响应说明 →# Replace the proxy address with your own proxy.
curl --fail-with-body -sS --max-time 200 \
-X POST "https://api.adscrawl.net/cloud-browsers/launch" \
-H "x-api-key: $ADSCRAWL_API_KEY" \
-H "content-type: application/json" \
-d '{
"proxy": { "server": "http://proxy.example.com:8080" },
"tabs": ["https://www.adscrawl.net"]
}'
# Open runtime.connectUrl from the response.
# When finished, replace <browser-id> with the returned id.
curl --fail-with-body -sS -X POST \
"https://api.adscrawl.net/cloud-browsers/<browser-id>/stop" \
-H "x-api-key: $ADSCRAWL_API_KEY"
# Requires jq. Replace <browser-id> with the same id used above.
# A successful stop request can still return status "stopping".
BROWSER_ID="<browser-id>"
stopped=false
for ((attempt=0; attempt<60; attempt++)); do
detail=$(curl --fail-with-body -sS --max-time 30 \
"https://api.adscrawl.net/cloud-browsers/$BROWSER_ID" \
-H "x-api-key: $ADSCRAWL_API_KEY") || exit 1
status=$(printf '%s' "$detail" | jq -er '.runtime.status') || exit 1
if [ "$status" = "stopped" ]; then
stopped=true
break
fi
sleep 2
done
if [ "$stopped" != true ]; then
printf '%s\n' 'Shutdown is not confirmed. Check this profile; do not launch a replacement.' >&2
exit 1
fi
# Closing the viewer does not stop billing.
# If launch fails, inspect its returned id; do not repeat launch.
04 / 限制与计费
接入前需要了解
注册获 500 一次性积分。Hobby、Starter 和 Pro 每月分别为 9、49 和 199 美元。启动持久云浏览器需要付费套餐。
比较套餐与额度 →- 保存环境不保证永久登录,目标网站可以让会话过期或要求重新验证。
- 示例负责管理浏览器配置,具体采集步骤仍需使用目标支持的流程实现。
- 云浏览器启动需要付费套餐,API Key 请求必须传入有效的显式代理。
- 云浏览器配置不会自动导入临时 Remote CDP 会话;关闭查看器不会停止计费。
API Key 仅保存在服务端。遇到 HTTP 402 请检查额度,遇到 429 请降低并发并退避重试。
05 / FAQ
常见问题
可以绕过登录或 MFA 吗?
不能。需要已授权的账号,并完成目标网站要求的登录步骤。
持久化环境就是持续运行浏览器吗?
不是。保存配置与运行中的浏览器有不同的生命周期和额度,任务结束后应停止运行。
保存的登录状态失效了怎么办?
打开配置,按网站要求重新登录,检查账号状态后再继续任务。