ウェブスクレイピングモバイルプロキシ、リクエストごとに新しいモバイルIPで公開データ収集

ウェブスクレイピングに回転モバイルプロキシが適している理由

公開ページを多く開くと同じIPからのリクエストが集中します。ローテーションモバイルプロキシはリクエストごとに異なるモバイルIPで送信するため、リクエストが広く分散し、サイトは各リクエストを異なる携帯電話ユーザーのアクセスとして見ます。

モバイルIPは多くのユーザーが共有する通信網アドレスであるため、サイトが普通のアクセスとして受け入れます。そのため、応答が均等に返り、収集作業が計画通りに続きます。

ローテーティングモバイルプロキシはゲートウェイアドレス1つで接続するため、IPリストを管理する必要がありません。収集ツールにアドレス1つだけ入れれば、IP交換はゲートウェイが自動処理します。

収集作業に適した設定

設定はユーザー名1つで完了します。例えばドイツショッピングモールの商品リストを収集する場合、country-deだけ追加しリクエストごとに新しいIPで送信し、複数ステップが続く画面を確認する場合はsession IDとttl-10を一緒に追加し10分間同じIPで続けて確認します。

このようなデータを収集します

ローテーティングモバイルプロキシでは、ログインなしで誰でも見られる公開情報を収集します。多く収集するデータは以下の通りです。

• オンラインストアとマーケットの公開商品名、価格、在庫、割引情報。
• 公開レビューと評価の変化。
• 国別モバイル検索結果と表示順序。
• 旅行、宿泊、航空サイトの国別表示価格。
• ニュース、お知らせ、採用などの公開投稿の新着記事。
• モバイル専用ページにのみ表示される公開情報とモバイル画面配置。

開始手順

最初は同時接続数を少なくして応答状態を確認し、少しずつ増やします。応答が均等に来る範囲を見つければ、その設定で安定して運用できます。ツールに再試行設定を入れておくと、応答が遅いリクエストを少し後に新しいIPで再送し、収集がスムーズに続きます。

1. 1ヶ月の収集量を大まかに決め、1GBから1000GBの間でトラフィックを購入します。
2. コンソールの接続情報ジェネレーターで国とセッション方式を選び、ユーザー名を作成します。
3. 収集ツールにゲートウェイアドレス、ポート、ユーザー名、パスワードを入力します。HTTPとSOCKS5のうち、ツールに適した方を使用します。
4. リクエスト間隔と同時接続数をサイトの応答に合わせて調整します。
5. コンソールで残りのトラフィックを確認し、必要なときに追加購入します。

トラフィックを節約する方法

画像、動画、フォントなど、収集に不要なファイルをダウンロードしないようにツールでブロックしておくと、同じGBでより多くのページを開くことができます。公開APIやデータのURLがある場合は、画面全体ではなくそのURLのみをリクエストするのも良い方法です。

1度取得したページは保存しておき、変更されたページだけ再度リクエストすると、同じトラフィックでより長く収集できます。収集周期をページ変更周期に合わせるのも良い方法です。

同じサイトでログインなしに見られる公開情報のみ収集し、サイトが定める利用規則に沿ってリクエスト速度を調整すれば、収集を長期間安定的に継続できます。

コンソールで残りのトラフィックと使用量をいつでも確認できるため、作業ごとのコストを簡単に計算できます。

収集量が多い日と少ない日が混在していても、GB単位で購入するため実際に使用した分だけ費用がかかります。

価格はGBあたり$3.59で注文量に関係なく同じ、購入したトラフィックは30日間使用可能。残高は12種類の暗号資産でチャージでき、$100以上チャージで20%、$5,000チャージで50%ボーナスが付きます。