網路爬蟲行動代理，每次請求使用新行動IP收集公開資料
網路爬蟲行動代理讓您以每次請求切換不同行動IP的方式大規模存取公開網頁。輪換行動代理以每GB $3.59的費率提供26國行動IP。
Google
eBay
Etsy
輪換行動代理適合網路爬蟲的原因
如果大量開啟公開頁面，請求會集中在相同IP上。旋轉行動代理每次請求使用不同的行動IP，因此請求會分散，網站會將每個請求視為來自不同手機用戶的訪問。
行動IP是許多用戶共享的網絡地址，因此網站會將其視為普通訪問。這樣回應會更均勻，收集工作也能按計劃進行。
輪換行動代理只需一個閘道地址即可連線，無需管理IP列表。在爬蟲工具中只需設置一個地址，IP更換由閘道自動處理。
固定IP產品與選擇標準
廣泛收集公開頁面時，旋轉產品更適合。如果需要長時間使用相同IP（例如每天檢查相同頁面），可以搭配專用固定行動代理。
爬蟲任務適用設定
僅需設定用戶名即可完成。例如採集德國電商商品清單時，僅添加country-de讓每個請求使用新IP；瀏覽多步驟頁面時，同時添加session ID與ttl-10即可維持10分鐘相同IP連續瀏覽。
清單與搜尋結果：每次請求使用新IP
如商品列表、搜尋結果、分類頁等無關聯頁面，預設會為每個請求分配新IP。
翻閱多個頁面的任務：固定會話
如需連續操作(如翻頁或保持Cookie)，請在用戶名中加入session值和ttl分鐘數，可設定1至30分鐘固定IP
各國價格與庫存：指定國家
在用戶名中填入country-us、country-de等國家代碼，即可收集該國用戶看到的價格和庫存。如果國家無關緊要，則使用所有國家設置。
收集資料類型
使用輪換行動代理收集無需登錄即可查看的公開資訊。常見收集數據類型如下：
- 電商平台公開商品名稱、價格、庫存、優惠資訊。
- 公開評論與評分變化。
- 各國行動搜尋結果與排序呈現。
- 旅遊、住宿、機票網站的各國顯示價格。
- 新聞、公告、招聘等公開文章的新內容。
- 僅在行動專用頁面上顯示的公開資訊和行動頁面佈局。
蒐集各國行動數據
比較同一網站的國家價格或庫存時，只需更改用戶名中的國家值，依次請求相同地址。將國家代碼與結果一起保存，可以立即製作比較表。
操作步驟
建議初期先設定較少同時連線數，觀察回應狀態後逐步增加。找到穩定回應的設定範圍後，即可長期穩定運行。工具中設置重試功能，可自動以新IP重新發送延遲請求，保持資料收集流暢。
- 估算每月採集量，從1GB到1000GB範圍內購買流量。
- 在控制台生成器選擇國家與會話模式來設定用戶名。
- 在爬蟲工具輸入閘道地址、端口、使用者名稱與密碼。根據工具支援選擇HTTP或SOCKS5協議。
- 根據網站回應調整請求間隔與同時連線數
- 在控制台監控剩餘流量，隨時加購。
流暢的爬蟲設定
在請求間加入短間隔並發送行動瀏覽器資訊，可取得與手機用戶相同頁面。記錄回應代碼可作為調整設定的參考基準。
節省流量的方法
在工具中封鎖圖片、影片、字型等非必要檔案的下載，可讓相同流量開啟更多頁面。若有公開API或數據網址，直接請求該網址而非整個頁面更有效率。
已取得的頁面可暫存，僅重新請求變動部分，相同流量下能採集更久。將採集週期配合頁面更新頻率也是好方法。
只收集同一網站上無需登錄的公開信息，並根據網站的使用規則設定請求速度，可以長期穩定地進行收集。
隨時於控制台查看剩餘流量與用量，輕鬆計算各項任務成本。
即使數據採集量每日波動，因採用GB計費模式，僅需支付實際用量。
價格為每GB $3.59，訂單量無關，購買的流量可在30天內使用。餘額可用12種加密貨幣充值，充值$100以上可獲20%獎勵，充值$5,000可獲50%獎勵。
GB數量設定方法
先爬取數百頁，在控制台中確認使用量，並將每日爬取量乘以一個月的天數，確定所需的GB。流量可使用30天，按一個月計劃購買更為簡潔。