বারবার আসা তালিকা ও টেবিল খুঁজে বের করে, তাই শুধু দরকারি ফিল্ডগুলোই নিতে পারেন।
বিপুল রিকোয়েস্ট সামলায়
ব্যস্ত রিকোয়েস্টের চাপ ক্রমানুসারে ভাগ করে দেয়, তাই আপনার কাজ শেষ পর্যন্ত চলতে থাকে।
পরিষ্কার আউটপুট
কাঁচা HTML কে ব্যবহারের উপযোগী ডেটায় রূপান্তর করে, তাই দ্রুত বিশ্লেষণে যেতে পারেন।
ফলাফল যাচাই
ফাঁকা পেজ ও ব্লক স্ক্রিন আবার চেষ্টা করে, এবং শুধু সফল ফলাফল ফেরত দেয়।
ব্রাউজারের মতো অ্যাক্সেস
সাধারণ ভিজিটের মতো পেজ খোলে, বিভিন্ন ডিভাইস ও ব্রাউজার সেটআপ বদলে বদলে।
পছন্দমতো ফরম্যাট
JSON, CSV বা HTML নিন এবং সরাসরি আপনার বর্তমান সিস্টেমে দিন।
ওয়েব স্ক্র্যাপার API কী?
ওয়েব স্ক্র্যাপার API আপনি যে পেজ সংগ্রহ করতে চান তার URL নিয়ে সেটির কনটেন্ট ফেরত দেয়। IP রোটেশন, ব্লক, পুনরায় চেষ্টা ও JavaScript রেন্ডারিং API নিজেই সামলায়, তাই আপনাকে প্রক্সি ও ব্রাউজার নিজে পরিচালনা করতে হয় না।
WING PROXY ওয়েব স্ক্র্যাপার API স্বয়ংক্রিয়ভাবে রেসিডেনশিয়াল IP বরাদ্দ করে এবং ফলাফল HTML বা JSON হিসেবে ফেরত দেয়। আপনার চাওয়া পেজ সফলভাবে ফেরত আসা রিকোয়েস্টের জন্যই শুধু পেমেন্ট করেন।
নিজে প্রক্সি পরিচালনা করা মানে IP-র অবস্থা, পুনরায় চেষ্টার সময় ও ব্রাউজার ফিঙ্গারপ্রিন্ট সামলানো। ওয়েব স্ক্র্যাপার API এক রিকোয়েস্টেই এসব করে, তাই ডেভেলপাররা ডেটা দিয়ে কী করবেন তাতে মনোযোগ দিতে পারেন।
মাসিক প্ল্যান প্রতি 1,000 রিকোয়েস্টে $0.50 থেকে শুরু হয় এবং বড় প্ল্যানে প্রতি 1,000 রিকোয়েস্টে $0.24 পর্যন্ত কমে।
ওয়েব স্ক্র্যাপার API-এর দাম প্রতি 1,000 রিকোয়েস্টে কত?
মাসিক প্ল্যান অনুযায়ী ওয়েব স্ক্র্যাপার API-এর দাম প্রতি 1,000 রিকোয়েস্টে $0.50 থেকে $0.24 পর্যন্ত। বড় প্ল্যানে প্রতি মাসে বেশি ফলাফল থাকে, প্রতি 1,000-এ কম দামে।
প্রতি 1,000-এ $0.24 দামের Scale প্ল্যান $0.50 দামের Starter প্ল্যানের চেয়ে 52% কম। মাসিক পরিমাণ বাড়লে উপরের টিয়ারে গেলে একই বাজেটে অনেক বেশি ডেটা সংগ্রহ করতে পারেন।
মাসিক ফি USDT (TRC20) দিয়ে টপ-আপ করা ব্যালান্স থেকে পরিশোধ হয়, আর মাসিক ফলাফলের সংখ্যার মধ্যে রিকোয়েস্ট ইচ্ছেমতো ছড়িয়ে পাঠাতে পারেন।
প্ল্যান
মাসিক দাম
প্রতি মাসে ফলাফল
প্রতি 1,000
Starter
$10
20,000
$0.50
Growth
$50
125,000
$0.40
Pro
$140
400,000
$0.35
Business
$300
1,000,000
$0.30
Enterprise
$520
2,000,000
$0.26
Scale
$960
4,000,000
$0.24
ওয়েব স্ক্র্যাপার API কীভাবে কাজ করে?
URL দিয়ে একটি রিকোয়েস্ট পাঠান, API উপযুক্ত IP ও ব্রাউজার পরিবেশ বেছে নিয়ে পেজ খোলে, খালি পেজ বা ব্লক স্ক্রিন পেলে আবার চেষ্টা করে, এবং শুধু সফল ফলাফল ফেরত দেয়। আপনি শুধু ফেরত আসা ডেটা সংরক্ষণ ও বিশ্লেষণ করেন।
JavaScript দিয়ে কনটেন্ট রেন্ডার করা পেজ ব্রাউজারের মতোই খোলা হয়, আর পেজ পুরোপুরি রেন্ডার হওয়ার পর কনটেন্ট পান। নিজের হেডলেস ব্রাউজার চালানো ও পরিচালনার দরকার নেই।
API ডিভাইস ও ব্রাউজার পরিবেশ বদলে বদলে সাধারণ ভিজিটের মতো পেজ খোলে, ফলে ব্লক স্ক্রিনের বদলে কাঙ্ক্ষিত কনটেন্ট পাওয়ার সম্ভাবনা বাড়ে।
URL ও অপশন (দেশ, আউটপুট ফরম্যাট) দিয়ে রিকোয়েস্ট পাঠান
API একটি IP বরাদ্দ করে পেজ খোলে
ব্লক ও ব্যর্থতায় স্বয়ংক্রিয়ভাবে আবার চেষ্টা হয়
সফল ফলাফল HTML বা JSON হিসেবে পান
ওয়েব স্ক্র্যাপার API কোন ডেটা সংগ্রহ করতে পারে?
বেশিরভাগ পাবলিক ওয়েব পেজ সংগ্রহ করতে পারেন। সাধারণ উদাহরণ হলো মার্কেটপ্লেসের প্রোডাক্ট ও দাম, সোশ্যাল মিডিয়ার পাবলিক পোস্ট, চাকরির বিজ্ঞাপন, রিয়েল এস্টেট ও ভ্রমণের দাম, এবং নিউজ ও ব্লগ পোস্ট।
রিকোয়েস্টে একটি দেশ উল্লেখ করলে সেই দেশের ভিজিটররা পেজটি যেভাবে দেখে সেভাবেই পান। বিভিন্ন দেশের দাম বা স্টক তুলনায় এটি বিশেষভাবে কাজে লাগে।
HTML থেকে বারবার আসা তালিকা ও টেবিল বের করে শুধু দরকারি ঘরগুলোও রাখতে পারেন। ফলাফল JSON, CSV বা HTML হিসেবে নিয়ে সরাসরি আপনার বর্তমান ডেটাবেস বা অ্যানালিটিক্স টুলে লোড করুন।
টিমগুলো প্রায়ই এই API দিয়ে আন্তর্জাতিক মার্কেটপ্লেসে একই প্রোডাক্ট দেশ অনুযায়ী তুলনা করে, অথবা পদ ও অঞ্চল অনুযায়ী চাকরির বিজ্ঞাপন সংগ্রহ করে নিয়োগের প্রবণতা বিশ্লেষণ করে।
রিয়েল এস্টেটের তালিকা, হোটেল ও ফ্লাইটের দামের মতো প্রতিদিন বদলানো তথ্য নির্দিষ্ট সময়সূচিতে সংগ্রহ করা যায়, ফলে তারিখ অনুযায়ী দামের প্রবণতা বিশ্লেষণ করতে পারেন।
নিজের প্রক্সি দিয়ে স্ক্র্যাপিংয়ের থেকে এটি কীভাবে আলাদা?
নিজে স্ক্র্যাপিং করলে প্রক্সি ব্যবস্থাপনা, রিট্রাই নিয়ম ও ব্রাউজার সেটিংস নিজেকেই তৈরি করতে হয়। ওয়েব স্ক্র্যাপার API এসব আপনার হয়ে করে দেয়, তাই আপনার স্ক্র্যাপিং কোড ছোট হয় এবং সাইটের কাঠামো বদলালেও রক্ষণাবেক্ষণের কাজ কম থাকে।
দাম সফল ফলাফলের ভিত্তিতে, তাই ব্যর্থ রিকোয়েস্টে কোনো খরচ নেই। আপনার কাজের পরিসর যত বড় এবং টার্গেট সাইট যত বৈচিত্র্যময়, API পদ্ধতিতে লাভ তত বেশি।
রিকোয়েস্ট জমে গেলেও API সেগুলো ক্রমানুসারে পাঠায়, ফলে আপনার কাজ শেষ পর্যন্ত চলে। সময়মতো চলতে হয় এমন নির্ধারিত রিপোর্ট ও দাম ট্র্যাকিংয়ের জন্য এটি উপযুক্ত।
আপনি যদি আগে থেকেই নিজের স্ক্র্যাপার চালান, তাহলে শুধু ঘন ঘন ব্লক করে এমন সাইটগুলো API-তে সরাতে পারেন। সহজ সাইটগুলো যেমন আছে তেমন রাখুন এবং শুধু কঠিনগুলো API-তে পাঠান, এতে খরচ ও রক্ষণাবেক্ষণ দুটোই সাশ্রয় হয়।
ওয়েব স্ক্র্যাপার API-র দামে কী কী অন্তর্ভুক্ত?
প্রতিটি প্ল্যানে স্ক্র্যাপিংয়ের জন্য প্রয়োজনীয় একই ফিচার অন্তর্ভুক্ত।
আপগ্রেড করলে ফিচার একই থাকে, শুধু মাসিক ফলাফলের সংখ্যা ও প্রতি 1,000-এর দাম বদলায়। আপনার সেটআপ পরীক্ষা করতে ছোট প্ল্যান দিয়ে শুরু করুন, তারপর একই কোড দিয়ে বড় প্ল্যানে যান।
শুধু সফল ফলাফলের জন্য পেমেন্ট
ব্লক সামলানো ও স্বয়ংক্রিয় রিট্রাই
JavaScript রেন্ডারিং
দেশভিত্তিক টার্গেট করা রিকোয়েস্ট
HTML বা JSON আউটপুট
স্বয়ংক্রিয় রেসিডেনশিয়াল IP বরাদ্দ
API কী দিয়ে অথেনটিকেশন
আপনার ড্যাশবোর্ডে ব্যবহার ট্র্যাকিং
কোন ওয়েব স্ক্র্যাপার API প্ল্যান বেছে নেব?
প্রতি মাসে কতগুলো ফলাফল লাগবে তা আন্দাজ করুন, তারপর একটু বাড়তি জায়গা রেখে একটি প্ল্যান বেছে নিন। দিনে প্রায় 700-র জন্য Starter, দিনে প্রায় 4,000-এর জন্য Growth, আর দিনে প্রায় 13,000-এর জন্য Pro উপযুক্ত।
মাসে 4,000,000-এর বেশি হলে আমরা একটি কাস্টম প্ল্যানে আপনার ফলাফলের সংখ্যা ও রিকোয়েস্টের হার ঠিক করে দিই। পেমেন্ট হয় USDT (TRC20) দিয়ে টপ-আপ করা ব্যালান্স থেকে, এবং API ডকসে curl, Python ও Node.js-এ কোড উদাহরণ আছে।
মাসিক প্ল্যান সেই মাসে আপনার ব্যবহৃত ফলাফলগুলো কভার করে। ব্যস্ত মাসে উপরের টিয়ারে যান এবং কম ব্যস্ত মাসে মানানসই টিয়ারে বদলে নিন, এতে খরচ ব্যবহারের সাথে মিলে যায়।
সব দাম USD-তে। সব ফলাফল ব্যবহারের আগে উপরের টিয়ারে গেলে মেয়াদের বাকি অংশ কম দামেই চলতে থাকে।
ওয়েব স্ক্র্যাপার API কীভাবে শুরু করব?
অ্যাকাউন্ট টোকেন দিয়ে সাইন আপ করুন, USDT (TRC20) দিয়ে ব্যালান্স টপ-আপ করুন এবং একটি প্ল্যান বেছে নিয়ে API কী তৈরি করুন। API ডকসের উদাহরণ কোডে আপনার কী বসান এবং সাথে সাথে প্রথম রিকোয়েস্ট পাঠান।
আপনার ড্যাশবোর্ডে API কী তৈরি করুন এবং যেকোনো সময় নতুন করে তৈরি করুন। প্রথম টপ-আপ জমা হলে সাপোর্টও চালু হয়, যেখানে আপনার টার্গেটের জন্য সেরা রিকোয়েস্ট সেটআপ নিয়ে জানতে চাইতে পারেন।
সাইন আপ বোতাম দিয়ে একটি অ্যাকাউন্ট টোকেন তৈরি করুন
USDT (TRC20) দিয়ে ব্যালান্স টপ-আপ করুন ($50 থেকে $10,000)
আপনার মাসিক ফলাফলের সংখ্যার সাথে মানানসই প্ল্যান বেছে নিন
একটি API কী তৈরি করুন এবং উদাহরণ কোড দিয়ে প্রথম রিকোয়েস্ট পাঠান
FAQ
শুরু করার আগে WING PROXY প্রোডাক্ট নিয়ে সাধারণ প্রশ্নের উত্তর।
ওয়েব স্ক্র্যাপার API
আপনার উত্তর খুঁজে পাচ্ছেন না?
আপনার ড্যাশবোর্ডে সাপোর্টের মাধ্যমে জিজ্ঞাসা করুন, আমাদের টিম ক্রমানুসারে উত্তর দেবে।
