甚麼是網頁爬蟲API?
網頁爬蟲API接收你想收集的頁面網址,並返回其內容。IP輪換、封鎖、重試和JavaScript渲染都由API處理,你無需自行管理代理和瀏覽器。
WING PROXY 網頁爬蟲API會自動分配住宅IP,並以HTML或JSON返回結果。你只需為成功返回所需頁面的請求付費。
自行管理代理需要處理IP狀態、重試時機和瀏覽器指紋。網頁爬蟲API在一次請求中處理這一切,開發人員可專注於如何運用數據。
月費方案由每1,000次請求 $0.50 起,較大方案低至每1,000次請求 $0.24。
網頁爬蟲API每1,000次請求多少錢?
網頁爬蟲API按月費方案收費,每1,000次請求由 $0.50 至 $0.24。方案越大,每月結果數越多,每1,000次價格越低。
每1,000次 $0.24 的 Scale 方案比 $0.50 的 Starter 方案便宜52%。每月用量增加時升級級別,同一預算可收集多得多的數據。
月費以USDT(TRC20)充值的餘額支付,你可在每月結果數內自由分配請求。
| 方案 | 月費 | 每月結果數 | 每1,000次 |
|---|
| Starter | $10 | 20,000 | $0.50 |
| Growth | $50 | 125,000 | $0.40 |
| Pro | $140 | 400,000 | $0.35 |
| Business | $300 | 1,000,000 | $0.30 |
| 企業 | $520 | 2,000,000 | $0.26 |
| Scale | $960 | 4,000,000 | $0.24 |
網頁爬蟲API如何運作?
傳送附有網址的請求,API會選擇合適的IP和瀏覽器環境開啟頁面,遇到空白頁或封鎖畫面時重試,並只返回成功結果。你只需儲存和分析返回的內容。
以JavaScript渲染內容的頁面,會像瀏覽器一樣開啟,你可在頁面完全渲染後取得內容。無需自行運行和管理無頭瀏覽器。
API會變換裝置和瀏覽器環境,像普通瀏覽一樣開啟頁面,提高取得所需內容而非封鎖畫面的機會。
- 傳送附有網址和選項(國家、輸出格式)的請求
- API分配IP並開啟頁面
- 封鎖和失敗會自動重試
- 以HTML或JSON取得成功結果
網頁爬蟲API可以收集甚麼數據?
你可收集大部分公開網頁。常見例子包括網上市場的產品和價格、社交媒體公開帖文、職位空缺、地產和旅遊價格,以及新聞和網誌文章。
在請求中指定國家,即可取得該國訪客所見的頁面,特別適合比較各國價格或庫存。
你亦可從HTML中擷取重複的列表和表格,只保留所需欄位。以JSON、CSV或HTML取得結果,直接匯入現有數據庫或分析工具。
團隊經常用這個API按國家比較國際網上市場的同一產品,或按職位和地區收集職位空缺以分析招聘趨勢。
地產放盤、酒店和機票價格等每日變化的資料,可按時間表收集,讓你按日期分析價格走勢。
與自行用代理爬取有何分別?
自行爬取需要自己建立代理管理、重試規則和瀏覽器設定。網頁爬蟲API代你處理這些工作,爬取程式更短,網站結構改變時需要維護的地方亦更少。
價格按成功結果計算,失敗請求不收費。規模越大、目標網站越多樣,API方式就越划算。
即使請求大量累積,API亦會按次序發送,讓工作運行至完成,適合需要準時完成的定期報告和價格追蹤。
如你已在運行自己的爬蟲,可只把經常封鎖的網站轉到API。容易處理的網站維持原狀,只把困難的網站交給API,同時節省成本和維護工作。
網頁爬蟲API價格包括甚麼?
每個方案都包括爬取所需的相同功能。
升級後功能不變,只改變每月結果數和每1,000次價格。先用小方案測試設定,再以相同程式轉到較大方案。
- 只為成功結果付費
- 封鎖處理及自動重試
- JavaScript渲染
- 指定國家請求
- HTML或JSON輸出
- 自動分配住宅IP
- API金鑰驗證
- 控制台用量追蹤
應該選擇哪個網頁爬蟲API方案?
估算每月所需結果數,再選擇稍有餘裕的方案。每日約700個適合 Starter,約4,000個適合 Growth,約13,000個適合 Pro。
每月超過4,000,000個,我們會以自訂方案設定結果數和請求頻率。以USDT(TRC20)充值的餘額付款,API文件附有 curl、Python 和 Node.js 程式示例。
月費方案涵蓋當月使用的結果。繁忙月份升級級別,淡月轉用合適級別,讓成本配合用量。
所有價格以USD計。如在用完結果前升級級別,餘下期間會以較低價格繼續。
如何開始使用網頁爬蟲API?
以帳戶令牌註冊,用USDT(TRC20)為餘額充值,選擇方案並建立API金鑰。把金鑰加入API文件的程式示例,即可立即傳送首個請求。
可在控制台建立API金鑰,並隨時重新產生。首次充值入帳後,支援功能亦會開通,你可查詢最適合目標網站的請求設定。
- 按註冊按鈕建立帳戶令牌
- 以USDT(TRC20)為餘額充值($50 至 $10,000)
- 選擇符合每月結果數的方案
- 建立API金鑰,用程式示例傳送首個請求