跳转到主要内容

登录态网页抓取

登录态网页抓取,从正确的浏览器环境开始。

通过保存的浏览器配置继续已授权的账号流程,检查登录状态、完成必要的登录步骤,并在任务结束后停止运行。

01 / 产品介绍

什么是登录态网页抓取?

登录态网页抓取是获取需要有效账号会话才能访问的内容。AdsCrawl 保存的云浏览器配置可在多次运行间保留浏览器环境,为持久化会话流程提供基础;登录是否仍然有效由目标网站决定。

02 / 适用场景

适合哪些任务?

01

继续账号流程

为已授权访问的账号复用保存配置,采集前确认页面显示正确的登录状态。

02

处理交互式登录

通过需要登录的实时查看器检查状态,并手动完成必要步骤;保存配置不会跳过 MFA 或会话过期。

03

隔离不同账号环境

需要独立 Cookie 和代理设置的流程使用不同配置,避免将凭证或会话数据写入公开代码。

03 / 快速开始

从一个完整流程开始

  1. 使用有效的显式代理创建或启动保存配置;示例展示创建启动及停止流程。
  2. 登录 AdsCrawl 后打开 runtime.connectUrl,完成目标网站已授权的登录流程。
  3. 确认账号和内容后继续采集流程;仅启动浏览器不会自动提取数据。
  4. 停止运行并确认已停止,保留配置 ID 供以后启动,不要重复创建新配置。

示例环境:Bash 与 cURL。 先在服务端设置 ADSCRAWL_API_KEY 环境变量。

完整参数与响应说明 →
cURL
# Replace the proxy address with your own proxy.
curl --fail-with-body -sS --max-time 200 \
  -X POST "https://api.adscrawl.net/cloud-browsers/launch" \
  -H "x-api-key: $ADSCRAWL_API_KEY" \
  -H "content-type: application/json" \
  -d '{
    "proxy": { "server": "http://proxy.example.com:8080" },
    "tabs": ["https://www.adscrawl.net"]
  }'

# Open runtime.connectUrl from the response.
# When finished, replace <browser-id> with the returned id.
curl --fail-with-body -sS -X POST \
  "https://api.adscrawl.net/cloud-browsers/<browser-id>/stop" \
  -H "x-api-key: $ADSCRAWL_API_KEY"

# Confirm runtime.status is "stopped"; otherwise query/retry stop.
# Closing the viewer does not stop billing.
# If launch fails, inspect its returned id; do not repeat launch.

04 / 限制与计费

接入前需要了解

比较套餐与额度 →
  • 保存环境不保证永久登录,目标网站可以让会话过期或要求重新验证。
  • 示例负责管理浏览器配置,具体采集步骤仍需使用目标支持的流程实现。
  • 云浏览器启动需要付费套餐,API Key 请求必须传入有效的显式代理。
  • 云浏览器配置不会自动导入临时 Remote CDP 会话;关闭查看器不会停止计费。

API Key 仅保存在服务端。遇到 HTTP 402 请检查额度,遇到 429 请降低并发并退避重试。

05 / FAQ

常见问题

可以绕过登录或 MFA 吗?

不能。需要已授权的账号,并完成目标网站要求的登录步骤。

持久化环境就是持续运行浏览器吗?

不是。保存配置与运行中的浏览器有不同的生命周期和额度,任务结束后应停止运行。

保存的登录状态失效了怎么办?

打开配置,按网站要求重新登录,检查账号状态后再继续任务。