能做什么
01
渲染后的网页内容
读取经过 JavaScript 渲染的网页,返回 Markdown、HTML 或文章 JSON。
02
网页截图
通过截图 API 保存首屏或完整网页。
03
浏览器工作流
通过 Remote CDP 执行导航、点击、表单输入等多步操作。
准备工作
- Go 1.21+
- AdsCrawl 账号和 API Key。
- 在运行客户端的进程环境中设置 ADSCRAWL_API_KEY,不要写入前端代码或提交到代码仓库。
接入方式 01
官方 SDK
从 Go 应用直接调用 AdsCrawl。
安装依赖包
在项目中执行安装命令。Go 项目如尚无 go.mod,请先初始化模块。
go get github.com/AdsCrawl/adscrawl-go@v0.1.0配置认证
在运行客户端的进程环境中设置 ADSCRAWL_API_KEY,不要写入前端代码或提交到代码仓库。
发起第一次请求
在服务端运行此示例,从环境变量读取账号密钥,并获取 Example Domain 的 Markdown。
package main import ( "context" "fmt" "log" adscrawl "github.com/AdsCrawl/adscrawl-go" ) func main() { client, err := adscrawl.NewClient(adscrawl.Config{}) if err != nil { log.Fatal(err) } markdown, err := client.Markdown(context.Background(), adscrawl.ContentOptions{ PageOptions: adscrawl.PageOptions{ URL: "https://example.com", WaitUntil: "domcontentloaded", }, }) if err != nil { log.Fatal(err) } fmt.Println(markdown) }
用量与限制
- API 请求和浏览器会话消耗 AdsCrawl 账号积分,安装客户端不会额外赠送调用额度。
- 需要交互式 CDP 会话时,另行安装浏览器自动化库,并在 finally 中关闭远程会话。避免自动重试计费请求。