什么是网页抓取 API?
网页抓取 API 接收你要采集的页面 URL,并返回页面内容。API 会处理 IP 轮换、封锁、重试和 JavaScript 渲染,你无需自己管理代理和浏览器。
WING PROXY 网页抓取 API 自动分配住宅 IP,并以 HTML 或 JSON 格式返回结果。只有成功返回所需页面的请求才会计费。
自己管理代理意味着要处理 IP 状态、重试时机和浏览器指纹。网页抓取 API 用一次请求完成这一切,开发者可以专注于如何使用数据。
月度方案起价为每 1,000 次请求 $0.50,大型方案低至每 1,000 次请求 $0.24。
网页抓取 API 每 1,000 次请求多少钱?
网页抓取 API 的价格为每 1,000 次请求 $0.50 至 $0.24,取决于你的月度方案。方案越大,每月包含的结果越多,每 1,000 次的价格越低。
Scale 方案每 1,000 次 $0.24,比 Starter 方案的 $0.50 低 52%。随着月用量增长,升级档位可以用同样的预算采集多得多的数据。
月费从用 USDT(TRC20)充值的余额中支付,你可以在每月结果数量内自由分配请求。
| 方案 | 月价 | 每月结果数 | 每 1,000 次 |
|---|
| Starter | $10 | 20,000 | $0.50 |
| Growth | $50 | 125,000 | $0.40 |
| Pro | $140 | 400,000 | $0.35 |
| Business | $300 | 1,000,000 | $0.30 |
| Enterprise | $520 | 2,000,000 | $0.26 |
| Scale | $960 | 4,000,000 | $0.24 |
网页抓取 API 如何工作?
发送带有 URL 的请求后,API 会选择合适的 IP 和浏览器环境打开页面,遇到空白页或封锁页面时自动重试,只返回成功的结果。你只需保存和分析返回的内容。
用 JavaScript 渲染内容的页面会像浏览器一样打开,在页面完全渲染后返回内容。无需自己运行和管理无头浏览器。
API 会变换设备和浏览器环境,像正常访问一样打开页面,从而提高获取所需内容而非封锁页面的几率。
- 发送包含 URL 和选项(国家、输出格式)的请求
- API 分配 IP 并打开页面
- 封锁和失败自动重试
- 以 HTML 或 JSON 获取成功结果
网页抓取 API 可以采集哪些数据?
大多数公开网页都可以采集。常见例子包括电商平台的商品和价格、公开的社交媒体帖子、招聘信息、房产和旅行价格,以及新闻和博客文章。
在请求中指定国家,即可获取该国访客看到的页面。这在比较各国价格或库存时尤其有用。
你还可以从 HTML 中提取重复的列表和表格,只保留需要的字段。以 JSON、CSV 或 HTML 获取结果,直接导入现有的数据库或分析工具。
团队常用这个 API 按国家比较各国电商平台上的同一商品,或按职位和地区收集招聘信息来分析招聘趋势。
房产信息、酒店和机票价格等每天变化的信息可以定时采集,便于按日期分析价格趋势。
与使用自己的代理抓取有什么不同?
自己抓取需要自行搭建代理管理、重试规则和浏览器设置。网页抓取 API 替你完成这些工作,抓取代码更短,网站结构变化时需要维护的地方也更少。
按成功结果计费,失败的请求不产生费用。规模越大、目标网站越多样,API 方式的优势越明显。
即使请求堆积,API 也会按顺序发送,让任务顺利完成。适合需要按时执行的定期报告和价格跟踪。
如果你已在运行自己的抓取程序,可以只把经常被封锁的网站迁移到 API。容易的网站保持原样,只把难抓的交给 API,节省成本和维护工作。
网页抓取 API 价格包含哪些内容?
每个方案都包含抓取所需的相同功能。
升级后功能不变,只改变每月结果数量和每 1,000 次的价格。先用小方案测试设置,再用同样的代码切换到更大的方案。
- 只为成功结果付费
- 封锁处理和自动重试
- JavaScript 渲染
- 按国家定位的请求
- HTML 或 JSON 输出
- 自动分配住宅 IP
- API 密钥认证
- 在控制台查看用量
应该选择哪个网页抓取 API 方案?
先估算每月需要的结果数量,再选择略有余量的方案。每天约 700 次适合 Starter,每天约 4,000 次适合 Growth,每天约 13,000 次适合 Pro。
每月超过 4,000,000 次时,我们会通过定制方案设定你的结果数量和请求速率。费用从用 USDT(TRC20)充值的余额中支付,API 文档提供 curl、Python 和 Node.js 代码示例。
月度方案覆盖当月使用的结果。繁忙月份升级档位,淡季切换到合适的档位,让成本与用量匹配。
所有价格均以 USD 计价。如果在用完所有结果前升级档位,剩余期限继续按较低价格计算。
如何开始使用网页抓取 API?
用账户令牌注册,用 USDT(TRC20)充值余额,选择方案后创建 API 密钥。把密钥填入 API 文档中的示例代码,立即发送第一个请求。
在控制台创建 API 密钥,并可随时重新生成。首次充值到账后,客服也会开通,你可以咨询适合目标网站的最佳请求设置。
- 点击注册按钮创建账户令牌
- 用 USDT(TRC20)充值余额($50 至 $10,000)
- 选择适合每月结果数量的方案
- 创建 API 密钥,用示例代码发送第一个请求