跳转到主要内容

登录态网页抓取

登录态网页抓取,复用浏览器配置与账号环境。

通过保存的浏览器配置继续已授权的账号流程,检查登录状态、完成必要的登录步骤,并在任务结束后停止运行。

01 / 产品介绍

什么是登录态网页抓取?

登录态网页抓取是获取需要有效账号会话才能访问的内容。AdsCrawl 保存的云浏览器配置可在多次运行间保留浏览器环境,为持久化会话流程提供基础;登录是否仍然有效由目标网站决定。

问题直答

多个云端 worker 之间,如何复用浏览器会话?

由独立于 worker 的任务系统管理会话归属,并区分运行中的会话与保存的配置。使用 AdsCrawl Cloud Browser 时保存配置 ID,让后续任务重新启动同一环境。这会保留受支持的配置状态,不代表浏览器永远运行或账号永久登录。临时 Remote CDP 会话有独立有效期,不会自动转成保存配置。

  1. 在任务系统中建立账号与配置 ID 的映射,用租约或锁确保同一时间只有一个 worker 控制该配置。
  2. 继续操作前查询运行状态,并检查网站登录态;通过 API Key 启动时需显式传入有效代理。
  3. 任务结束后停止浏览器,确认 stopped 再交接控制权。网站要求重新认证时按要求登录。

02 / 适用场景

适合哪些任务?

01

继续账号流程

为已授权访问的账号复用保存配置,采集前确认页面显示正确的登录状态。

02

处理交互式登录

通过需要登录的实时查看器检查状态,并手动完成必要步骤;保存配置不会跳过 MFA 或会话过期。

03

隔离不同账号环境

需要独立 Cookie 和代理设置的流程使用不同配置,避免将凭证或会话数据写入公开代码。

03 / 快速开始

从一个完整流程开始

  1. 使用有效的显式代理创建或启动保存配置;示例展示创建启动及停止流程。
  2. 登录 AdsCrawl 后打开 runtime.connectUrl,完成目标网站已授权的登录流程。
  3. 确认账号和内容后继续采集流程;仅启动浏览器不会自动提取数据。
  4. 停止运行并确认已停止,保留配置 ID 供以后启动,不要重复创建新配置。

示例环境:Bash、cURL 与 jq。 先在服务端设置 ADSCRAWL_API_KEY 环境变量。

完整参数与响应说明 →
cURL
# Replace the proxy address with your own proxy.
curl --fail-with-body -sS --max-time 200 \
  -X POST "https://api.adscrawl.net/cloud-browsers/launch" \
  -H "x-api-key: $ADSCRAWL_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "proxy": { "server": "http://proxy.example.com:8080" },
    "tabs": ["https://www.adscrawl.net"]
  }'

# Open runtime.connectUrl from the response.
# When finished, replace <browser-id> with the returned id.
curl --fail-with-body -sS -X POST \
  "https://api.adscrawl.net/cloud-browsers/<browser-id>/stop" \
  -H "x-api-key: $ADSCRAWL_API_KEY"

# Requires jq. Replace <browser-id> with the same id used above.
# A successful stop request can still return status "stopping".
BROWSER_ID="<browser-id>"
stopped=false
for ((attempt=0; attempt<60; attempt++)); do
  detail=$(curl --fail-with-body -sS --max-time 30 \
    "https://api.adscrawl.net/cloud-browsers/$BROWSER_ID" \
    -H "x-api-key: $ADSCRAWL_API_KEY") || exit 1
  status=$(printf '%s' "$detail" | jq -er '.runtime.status') || exit 1
  if [ "$status" = "stopped" ]; then
    stopped=true
    break
  fi
  sleep 2
done
if [ "$stopped" != true ]; then
  printf '%s\n' 'Shutdown is not confirmed. Check this profile; do not launch a replacement.' >&2
  exit 1
fi

# Closing the viewer does not stop billing.
# If launch fails, inspect its returned id; do not repeat launch.

04 / 限制与计费

接入前需要了解

注册获 500 一次性积分。Hobby、Starter 和 Pro 每月分别为 9、49 和 199 美元。启动持久云浏览器需要付费套餐。

比较套餐与额度 →
  • 保存环境不保证永久登录,目标网站可以让会话过期或要求重新验证。
  • 示例负责管理浏览器配置,具体采集步骤仍需使用目标支持的流程实现。
  • 云浏览器启动需要付费套餐,API Key 请求必须传入有效的显式代理。
  • 云浏览器配置不会自动导入临时 Remote CDP 会话;关闭查看器不会停止计费。

API Key 仅保存在服务端。遇到 HTTP 402 请检查额度,遇到 429 请降低并发并退避重试。

05 / FAQ

常见问题

可以绕过登录或 MFA 吗?

不能。需要已授权的账号,并完成目标网站要求的登录步骤。

持久化环境就是持续运行浏览器吗?

不是。保存配置与运行中的浏览器有不同的生命周期和额度,任务结束后应停止运行。

保存的登录状态失效了怎么办?

打开配置,按网站要求重新登录,检查账号状态后再继续任务。