ওয়েব স্ক্রেপিং মোবাইল প্রোক্সি, প্রতিটি রিকোয়েস্টে নতুন মোবাইল আইপি দিয়ে পাবলিক ডাটা সংগ্রহ
ওয়েব স্ক্রেপিং মোবাইল প্রোক্সি হল পাবলিক ওয়েব পেজ অনেকগুলো খুলে দেখার সময় প্রতিটি রিকোয়েস্টে ভিন্ন মোবাইল আইপি দিয়ে অ্যাক্সেস করার পদ্ধতি। রোটেটিং মোবাইল প্রোক্সি প্রতি GB-তে $3.59 দামে 26টি দেশের মোবাইল আইপি ব্যবহার করে।
Google
eBay
Etsy
ওয়েব স্ক্রেপিংয়ের জন্য রোটেটিং মোবাইল প্রোক্সি কেন ভালো
পাবলিক পেজ বেশি খুললে একই IP থেকে রিকোয়েস্ট জমা হয়। রোটেটিং মোবাইল প্রোক্সি প্রতি রিকোয়েস্টে ভিন্ন মোবাইল IP দিয়ে পাঠায়, তাই রিকোয়েস্ট বিস্তৃতভাবে বণ্টন হয়, এবং সাইট প্রতিটি রিকোয়েস্টকে আলাদা মোবাইল ব্যবহারকারীর অ্যাক্সেস হিসেবে দেখে।
মোবাইল IP অনেক ব্যবহারকারী শেয়ার করা নেটওয়ার্ক ঠিকানা, তাই ওয়েবসাইট এটিকে সাধারণ ভিজিট হিসেবে গ্রহণ করে। এর ফলে প্রতিক্রিয়া সমানভাবে আসে এবং সংগ্রহ কাজ পরিকল্পনা অনুযায়ী চলে।
রোটেটিং মোবাইল প্রক্সি একটি গেটওয়ে ঠিকানা দিয়ে সংযোগ করার কারণে আইপি তালিকা ম্যানেজ করার প্রয়োজন নেই। সংগ্রহ টুলে শুধুমাত্র একটি ঠিকানা দিন, আইপি পরিবর্তন গেটওয়ে নিজেই পরিচালনা করে।
স্থির IP পণ্য এবং নির্বাচনের মানদণ্ড
পাবলিক পেজ বিস্তৃতভাবে সংগ্রহ করার জন্য রোটেটিং পণ্য উপযুক্ত। লগইন করা অ্যাকাউন্ট দিয়ে একই পৃষ্ঠা প্রতিদিন চেক করার মতো কাজে যদি দীর্ঘ সময় একই IP প্রয়োজন হয়, তাহলে ডেডিকেটেড স্থির মোবাইল প্রোক্সি একসাথে ব্যবহার করুন।
স্ক্র্যাপিং কাজের জন্য উপযুক্ত সেটিংস
সেটিংস শুধুমাত্র ব্যবহারকারীর নাম দিয়ে সম্পন্ন হয়। উদাহরণস্বরূপ, যদি জার্মান শপিং মলের পণ্য তালিকা সংগ্রহ করতে চান, তাহলে শুধুমাত্র country-de যোগ করুন এবং প্রতিটি অনুরোধে নতুন IP পাঠান, যদি একাধিক ধাপের পৃষ্ঠা দেখতে চান, তাহলে session ID এবং ttl-10 একসাথে যোগ করুন এবং 10 মিনিটের জন্য একই IP দিয়ে পরবর্তী পৃষ্ঠায় যান।
তালিকা এবং সার্চ রেজাল্ট: প্রতিটি অনুরোধে নতুন IP
পণ্য তালিকা, অনুসন্ধান ফলাফল, বিভাগ পৃষ্ঠার মতো পরস্পর সংযুক্ত নয় এমন পৃষ্ঠাগুলির জন্য ডিফল্ট সেটিংস অনুযায়ী প্রতিটি অনুরোধে নতুন IP ব্যবহার করা হয়।
একাধিক পৃষ্ঠা নেভিগেট করার কাজ: স্টিকি সেশন
পরবর্তী পৃষ্ঠা বোতাম অনুসরণ করতে বা কুকি সংযোগ প্রয়োজন এমন কাজের জন্য ইউজারনেমে সেশন মান এবং TTL মিনিট যোগ করুন, 1 থেকে 30 মিনিট পর্যন্ত একই IP বজায় রাখুন।
দেশভিত্তিক মূল্য এবং স্টক: দেশ নির্দিষ্ট
ইউজারনেমে country-us, country-de এর মতো দেশ কোড দিলে সেই দেশের ব্যবহারকারীদের দ্বারা দেখা দাম এবং স্টক সংগ্রহ করা হবে। দেশ গুরুত্বপূর্ণ না হলে সব দেশ সেটিং ব্যবহার করুন।
এই ধরনের ডাটা সংগ্রহ করুন
রোটেটিং মোবাইল প্রক্সি দিয়ে লগইন ছাড়াই যে কেউ দেখতে পারে এমন পাবলিক তথ্য সংগ্রহ করুন। বেশি সংগ্রহ করা ডেটা নিচের মতো।
- ই-কমার্স এবং মার্কেটপ্লেসের পাবলিক পণ্যের নাম, মূল্য, স্টক, ডিসকাউন্ট তথ্য।
- পাবলিক রিভিউ এবং রেটিং পরিবর্তন।
- দেশভিত্তিক মোবাইল সার্চ রেজাল্ট এবং প্রদর্শন ক্রম।
- ট্রাভেল, থাকার জায়গা, ফ্লাইট সাইটের দেশভিত্তিক প্রদর্শিত মূল্য।
- খবর, নোটিশ, চাকরির মতো পাবলিক পোস্টের নতুন আপডেট।
- মোবাইল এক্সক্লুসিভ পৃষ্ঠায় শুধুমাত্র প্রদর্শিত পাবলিক তথ্য এবং মোবাইল স্ক্রিন লেআউট।
দেশভিত্তিক ডেটা সংগ্রহ
একই সাইটের দেশভিত্তিক দাম বা স্টক তুলনা করার সময় ব্যবহারকারীর নামের দেশ মান পরিবর্তন করে একই ঠিকানা ক্রমানুসারে অনুরোধ করুন। ফলাফলে দেশ কোড সংরক্ষণ করুন, তাহলে তুলনা টেবিল সরাসরি তৈরি করা যায়।
শুরু করার ধাপ
প্রথমে কনকারেন্ট কানেকশন সংখ্যা কম দিয়ে শুরু করে রেসপন্স স্ট্যাটাস দেখে ধীরে ধীরে বাড়ান। রেসপন্স সমানভাবে আসার রেঞ্জ পেলে সেই সেটিংস দিয়ে দীর্ঘ সময় স্থিতিশীলভাবে চালানো যায়। টুলে রিট্রাই সেটিংস রাখলে লেট রেসপন্স পাওয়া রিকোয়েস্ট কিছুক্ষণ পর নতুন আইপি দিয়ে আবার পাঠানো যায় এবং কালেকশন স্মুথলি চলতে থাকে।
- মাসিক সংগ্রহ পরিমাণ আনুমানিক নির্ধারণ করে 1GB থেকে 1000GB এর মধ্যে ট্রাফিক কিনুন।
- কনসোলের সংযোগ তথ্য জেনারেটরে দেশ এবং সেশন মোড নির্বাচন করে ইউজারনেম তৈরি করুন।
- স্ক্র্যাপিং টুলে গেটওয়ে অ্যাড্রেস, পোর্ট, ইউজারনেম, পাসওয়ার্ড ইনপুট করুন। HTTP এবং SOCKS5 এর মধ্যে আপনার টুলের জন্য উপযুক্ত প্রোটোকল ব্যবহার করুন।
- রিকোয়েস্ট ইন্টারভ্যাল ও কনকারেন্ট কানেকশন সাইট রেসপন্স অনুযায়ী এডজাস্ট করুন।
- কনসোলে অবশিষ্ট ট্রাফিক দেখে প্রয়োজন হলে আরও কিনুন।
সঠিকভাবে কাজ করা সংগ্রহ সেটিংস
রিকোয়েস্টের মধ্যে ছোট ইন্টারভ্যাল রেখে মোবাইল ব্রাউজার ইনফরমেশন সেন্ড করলে মোবাইল ইউজারদের মতো পেজ রেসপন্স পাবেন। রেসপন্স কোড রেকর্ড করে রাখলে সেটিংস এডজাস্ট করার সময় ভালো রেফারেন্স হবে।
ট্রাফিক সাশ্রয়ের উপায়
ইমেজ, ভিডিও, ফন্টের মতো স্ক্র্যাপিংয়ের জন্য অপ্রয়োজনীয় ফাইল ডাউনলোড করা থেকে বিরত থাকলে, একই জিবি দিয়ে আরও পৃষ্ঠা খোলা যায়। যদি পাবলিক API বা ডেটা অ্যাড্রেস থাকে, তাহলে পুরো পৃষ্ঠার পরিবর্তে শুধুমাত্র সেই অ্যাড্রেস রিকোয়েস্ট করলে ভালো হবে।
একবার প্রাপ্ত পৃষ্ঠা সংরক্ষণ করুন এবং শুধু পরিবর্তিত পৃষ্ঠাগুলি পুনরায় অনুরোধ করুন, একই ট্রাফিক দিয়ে দীর্ঘ সময় সংগ্রহ করুন। সংগ্রহ সময়সীমা পৃষ্ঠা পরিবর্তন সময়সীমার সাথে মিলিয়ে নিন।
একই সাইট থেকে লগইন ছাড়া দেখা যায় এমন পাবলিক তথ্য সংগ্রহ করুন এবং সাইটের ব্যবহারের নিয়ম অনুযায়ী অনুরোধের গতি নির্ধারণ করুন, তাহলে সংগ্রহ দীর্ঘ সময় ধরে স্থিতিশীলভাবে চালানো যায়।
কনসোলে অবশিষ্ট ট্রাফিক এবং ব্যবহৃত পরিমাণ যেকোনো সময় চেক করতে পারবেন, ফলে কাজভিত্তিক খরচ সহজেই হিসাব করতে পারবেন।
স্ক্র্যাপিংয়ের পরিমাণ বেশি এবং কম দিন মিশ্রিত থাকলেও জিবি ভিত্তিতে কেনার কারণে শুধুমাত্র ব্যবহৃত পরিমাণের জন্য খরচ হয়।
দাম প্রতি GB $3.59 এবং অর্ডারের পরিমাণের উপর নির্ভর করে না, ক্রয় করা ট্রাফিক 30 দিনের জন্য ব্যবহার করা যায়। ব্যালেন্স 12টি ক্রিপ্টোকারেন্সি দিয়ে টপ-আপ করা যায়, $100 এর বেশি টপ-আপ করলে 20%, $5,000 টপ-আপ করলে 50% বোনাস পাওয়া যায়।
GB পরিমাণ নির্ধারণের পদ্ধতি
প্রথমে কয়েক শত পৃষ্ঠা স্ক্র্যাপ করে কনসোলে ব্যবহৃত পরিমাণ চেক করুন, এবং দৈনিক স্ক্র্যাপ পরিমাণকে এক মাসের তারিখ দিয়ে গুণ করে প্রয়োজনীয় GB নির্ধারণ করুন। ট্রাফিক ৩০ দিন ব্যবহার করা যায় তাই এক মাসের প্ল্যান অনুযায়ী কিনলে পরিষ্কার।