跳转到主要内容

Puppeteer 云浏览器

Puppeteer 云浏览器,通过 Node.js 连接与控制。

通过 Puppeteer 控制云端 Chromium。Node.js 应用负责导航与数据提取,AdsCrawl 承载浏览器会话。

01 / 产品介绍

什么是Puppeteer 云浏览器?

AdsCrawl 通过 Remote CDP API 提供 Puppeteer 云浏览器。创建会话并发现 WebSocket 调试地址后,使用 puppeteer.connect 将现有 Node.js 脚本连接到远程浏览器。

02 / 适用场景

适合哪些任务?

01

迁移浏览器执行环境

使用 puppeteer-core 连接时无需为此流程安装本地 Chromium;应用仍需运行并组织自动化脚本。

02

沿用页面操作

使用 Puppeteer 导航、读取页面和获取结果;迁移前检查本地文件、扩展与浏览器版本等依赖。

03

按任务管理会话

为任务创建临时会话,在 finally 中释放,并保留会话 ID 以便失败后清理。

03 / 快速开始

从一个完整流程开始

  1. 用服务端 API Key 调用 POST /cdp/sessions,保存 sessionId 与 cdpBaseUrl。
  2. 在 cdpBaseUrl 上访问 /json/version,保留 token 并读取 webSocketDebuggerUrl。
  3. 将该地址作为 browserWSEndpoint 传给 puppeteer.connect,再执行页面操作。
  4. 断开 Puppeteer,并在 finally 中调用 DELETE /cdp/sessions/:sessionId 删除会话,页面操作失败时也要清理。

需要支持 fetch 的 Node.js 和 puppeteer-core(npm install puppeteer-core),保存为 .mjs 文件。 先在服务端设置 ADSCRAWL_API_KEY 环境变量。

完整参数与响应说明 →
Puppeteer
import puppeteer from "puppeteer-core";

const base = "https://api.adscrawl.net";
const headers = {
  "x-api-key": process.env.ADSCRAWL_API_KEY,
  "content-type": "application/json",
};
const response = await fetch(base + "/cdp/sessions", {
  method: "POST", headers,
  body: JSON.stringify({ idleTimeoutMs: 600000 }),
});
if (!response.ok) throw new Error("Create session failed: HTTP " + response.status);
const session = await response.json();
if (typeof session.sessionId !== "string" || !session.sessionId) {
  throw new Error("Create response is missing sessionId");
}
try {
  if (typeof session.cdpBaseUrl !== "string" || !session.cdpBaseUrl) {
    throw new Error("Create response is missing cdpBaseUrl");
  }
  const discovery = new URL(session.cdpBaseUrl);
  discovery.pathname = discovery.pathname.replace(/\/+$/, "") + "/json/version";
  const version = await fetch(discovery);
  if (!version.ok) throw new Error("CDP discovery failed: HTTP " + version.status);
  const { webSocketDebuggerUrl } = await version.json();
  if (typeof webSocketDebuggerUrl !== "string" || !webSocketDebuggerUrl) {
    throw new Error("Discovery response is missing webSocketDebuggerUrl");
  }
  const browser = await puppeteer.connect({
    browserWSEndpoint: webSocketDebuggerUrl,
  });
  try {
    const page = await browser.newPage();
    await page.goto("https://www.adscrawl.net");
    const title = await page.title();
    // Use title in your application; keep page content and session URLs out of logs.
  } finally {
    await browser.disconnect();
  }
} finally {
  const stopped = await fetch(base + "/cdp/sessions/" + encodeURIComponent(session.sessionId), {
    method: "DELETE", headers,
  });
  if (!stopped.ok) throw new Error("Session cleanup failed: HTTP " + stopped.status);
}

04 / 限制与计费

接入前需要了解

注册获 500 一次性积分。Hobby、Starter 和 Pro 每月分别为 9、49 和 199 美元。启动持久云浏览器需要付费套餐。

比较套餐与额度 →
  • 此集成使用 Chromium CDP,不提供 Firefox 或 WebDriver BiDi 会话。
  • 仅断开 Puppeteer 连接不会删除远程会话。
  • 会话地址包含访问令牌,应保存在服务端,避免写入公开日志。
  • 远程执行存在网络延迟,并受超时及账号并发限制。

API Key 仅保存在服务端。遇到 HTTP 402 请检查额度,遇到 429 请降低并发并退避重试。

05 / FAQ

常见问题

需要调用 puppeteer.launch 吗?

远程浏览器已经启动,应使用 puppeteer.connect;puppeteer.launch 会在自己的环境中启动浏览器进程。

需要下载 Chromium 吗?

示例中的远程连接不需要;puppeteer-core 提供客户端,Chromium 由 AdsCrawl 运行。

已删除的会话可以复用吗?

不能,需要创建新的临时会话。保存浏览器配置属于独立的云浏览器 API 流程。