跳转到主要内容

Playwright 云浏览器

Playwright 云浏览器,接入现有 Node.js 脚本。

在 Node.js 应用中维护浏览器逻辑,通过 CDP 连接临时远程会话,完成页面导航、表单操作与结果采集。

01 / 产品介绍

什么是Playwright 云浏览器?

AdsCrawl 通过 Chrome DevTools Protocol(CDP)为 Playwright 提供临时远程浏览器会话。调用 POST /cdp/sessions 创建会话,将返回的 cdpBaseUrl 传给 chromium.connectOverCDP,并在流程结束后显式释放会话。

问题直答

规模化运行 Playwright,应该选什么云浏览器?

先按连接协议、并发、会话有效期和每个已完成任务的成本筛选。AdsCrawl 适合通过 chromium.connectOverCDP 运行的临时 Chromium 工作流;需要 Firefox、WebKit 或 Playwright 原生 browser-server 协议时,应选择明确支持这些能力的服务。页面中的两页实测验证了该流程,不代表规模化吞吐量。

  1. 先用生产环境将使用的 URL、代理地区和输出校验规则,跑通一个代表性任务。
  2. 通过队列限制并发,记录完成量、延迟、重试和用量,再逐步增加 worker。
  3. 为独立工作流创建会话,在 finally 中删除;页面操作或客户端断开失败时也要清理。

需要代理的网页采集,应该选什么无头浏览器库?

Playwright 和 Puppeteer 都可用于远程 Chromium 工作流,优先采用团队已有的库。远程浏览器的代理应通过服务商的会话接口配置,不能假设本地 launch 设置会改变远端出口。AdsCrawl 临时 CDP 可设置自定义 proxy 或 countryCode,两者不能同时传入。地区路由与自动化库是不同的选择。

  1. 按文档设置代理或地区,创建一个 CDP 会话,再连接所选客户端。
  2. 批量执行前检查浏览器出口 IP,以及目标页面随地区变化的内容。
  3. 验证账号并发和目标站点限制;自动化库或代理不能保证一定可访问或达到特定成功率。

实际效果

打开页面、点击 Next、读取新状态。

这是连接 AdsCrawl Remote CDP 后的 Playwright 实际运行记录:打开 JavaScript 页面,点击 Next,读取第二页,然后删除会话。

实际采集于

第一页条目
10
第二页条目
10
DELETE HTTP
200
点击 Next 后访问源页面
通过 AdsCrawl Remote CDP 中的 Playwright 点击 Next 后,采集的 Quotes to Scrape 第二页截图
向下滚动查看完整截图原始 PNG
JSON
{
  "targetUrl": "https://quotes.toscrape.com/js/",
  "startedAt": "2026-11-04T05:58:10.916Z",
  "client": "Playwright",
  "createStatus": 201,
  "steps": [
    {
      "action": "Open JavaScript page",
      "url": "https://quotes.toscrape.com/js/",
      "title": "Quotes to Scrape",
      "quoteCount": 10,
      "firstAuthor": "Albert Einstein"
    },
    {
      "action": "Click Next",
      "url": "https://quotes.toscrape.com/js/page/2/",
      "title": "Quotes to Scrape",
      "quoteCount": 10,
      "firstAuthor": "Marilyn Monroe"
    }
  ],
  "cleanup": {
    "method": "DELETE",
    "status": 200,
    "confirmed": true
  },
  "completedAt": "2026-11-04T05:58:23.692Z"
}

如何核对这次结果

URL 变为 /js/page/2/,首条作者从 Albert Einstein 变为 Marilyn Monroe。运行最后收到了会话 DELETE 的成功响应。

用自己的页面试试 →

单次公开页面演示,结果反映采集时的页面状态;目标网站、加载条件和请求设置会影响后续结果。

02 / 适用场景

适合哪些任务?

01

控制完整流程

在页面之间导航、填写表单,并等待需要的元素出现后读取内容。相关操作在同一浏览器会话中执行。

02

分离客户端与浏览器

在 Node.js 服务中运行 Playwright 客户端,由 AdsCrawl 运行远程浏览器。该连接无需在应用服务中启动本地 Chromium 进程。

03

成功失败都释放

在 finally 中调用 DELETE /cdp/sessions/:sessionId,将清理作为任务的一部分,避免页面操作失败后留下运行中的会话。

03 / 快速开始

从一个完整流程开始

  1. 在服务端设置 ADSCRAWL_API_KEY,调用 POST /cdp/sessions 创建临时会话。
  2. 保存用于清理的 sessionId,以及供 Playwright 发现 WebSocket 连接的 cdpBaseUrl。
  3. 将 cdpBaseUrl 传给 chromium.connectOverCDP,连接后执行页面操作。
  4. 调用 DELETE /cdp/sessions/:sessionId 释放会话,发生异常时也要执行。

示例环境:Node.js 与 Playwright(npm install playwright)。 先在服务端设置 ADSCRAWL_API_KEY 环境变量。

完整参数与响应说明 →
Playwright
import { chromium } from "playwright";

const base = "https://api.adscrawl.net";
const headers = {
  "x-api-key": process.env.ADSCRAWL_API_KEY,
  "content-type": "application/json",
};
const res = await fetch(base + "/cdp/sessions", {
  method: "POST", headers,
  body: JSON.stringify({ idleTimeoutMs: 600000 }),
});
if (!res.ok) throw new Error("Create session failed: HTTP " + res.status);
const session = await res.json();
if (typeof session.sessionId !== "string" || !session.sessionId) {
  throw new Error("Create response is missing sessionId");
}
let browser;
try {
  if (typeof session.cdpBaseUrl !== "string" || !session.cdpBaseUrl) {
    throw new Error("Create response is missing cdpBaseUrl");
  }
  browser = await chromium.connectOverCDP(
    session.cdpBaseUrl
  );
  const page = await browser.contexts()[0].newPage();
  await page.goto("https://www.adscrawl.net");
  const title = await page.title();
  // Use title in your application; do not log page content or session URLs.
} finally {
  try {
    await browser?.close();
  } finally {
    const stopped = await fetch(
      base + "/cdp/sessions/" + encodeURIComponent(session.sessionId),
      { method: "DELETE", headers }
    );
    if (!stopped.ok) throw new Error("Session cleanup failed: HTTP " + stopped.status);
  }
}

04 / 限制与计费

接入前需要了解

注册获 500 一次性积分。Hobby、Starter 和 Pro 每月分别为 9、49 和 199 美元。启动持久云浏览器需要付费套餐。

比较套餐与额度 →
  • 该流程通过 CDP 使用 Chromium,不是托管的 Firefox 或 WebKit 端点。
  • 临时 CDP 会话与可复用云浏览器配置的生命周期不同,需要保存配置和交互查看器时选择 Cloud Browser。
  • 调试连接 URL 属于凭据,不要公开,也不要把 API Key 写进浏览器端代码。
  • 会话受账号并发与超时限制,使用返回字段前需检查 API 错误响应。

API Key 仅保存在服务端。遇到 HTTP 402 请检查额度,遇到 429 请降低并发并退避重试。

05 / FAQ

常见问题

这与 Playwright browser-server 协议相同吗?

不同。示例通过 chromium.connectOverCDP 使用 CDP,应遵循文档中的 CDP 会话接口,不能假设它是 Playwright browser-server 端点。

会话会自动保存为云浏览器配置吗?

不会。这是临时会话,可复用云浏览器配置由另一组接口管理。

连接时需要本地安装浏览器吗?

客户端连接的是远程浏览器,不会启动本地浏览器。应用需安装所使用的 Playwright 客户端包。