بهترین VPS برای اسکرپینگ وب

یک VPS سه چیزی را که هاستینگ اشتراکی و توابع serverless نمی‌توانند ارائه دهند به یک خزنده می‌دهد: منابع اختصاصی، وضعیت پایدار و کنترل نامحدود سیستم‌عامل. چون هر سطح KVM با vCPU و RAM اختصاصی است نه یک کانتینر اشتراکی، یک خزش طولانی در لحظه‌ای که یک همسایه spike می‌کند محدود نمی‌شود. root دارید، پس هر آنچه کار شما نیاز دارد نصب می‌کنید — Python با Scrapy، Node با Crawlee، یک Chromium headless کامل زیر Playwright، صف و پایگاه داده اختصاصی خودتان — و آن را روی یک schedule با cron یا تایمرهای systemd در حال اجرا نگه می‌دارید.

پایداری بیشتر از آنچه مردم انتظار دارند اهمیت دارد. یک اسکرپر که صف درخواست‌های خودش، ذخیره deduplication و نتایج جزئی را نگهداری می‌کند از راه‌اندازی مجدد جان به در می‌برد و به‌طور تمیز ادامه می‌دهد، که بسیار قابل اطمینان‌تر از فراخوانی‌های تابع stateless است که هر اجرا ریست می‌شوند. ترافیک نامحدود در هر سطح یعنی یک خزش بزرگ در وسط کار به محدودیت پهنای باند نمی‌خورد، و یک دیسک NVMe اختصاصی کش محلی، خروجی پردازش‌شده و هر پایگاه داده جاسازی‌شده را سریع نگه می‌دارد. اگر در تأمین یکی تازه‌کار هستید، مستندات راه‌اندازی اولیه و دسترسی SSH را طی می‌کند.

سطح را با آنچه خزنده شما واقعاً انجام می‌دهد تطبیق دهید، نه با اندازه سایت هدف. عامل تعیین‌کننده این است که آیا JavaScript را رندر می‌کنید یا نه.

• اسکرپینگ سبک، فقط متن — fetch اچ‌تی‌ام‌ال با requests، httpx یا Scrapy، پردازش با lxml یا BeautifulSoup. این کم‌حافظه و IO-bound است؛ Cub (1 vCPU / 2 GB / 40 GB) یا Scout (2 / 4 / 70) حتی در همزمانی بالا به راحتی از پس آن بر می‌آیند.
• رندر JavaScript و مرورگرهای headless — Playwright، Puppeteer یا Selenium که Chromium headless را هدایت می‌کنند. هر context مرورگر می‌تواند ۳۰۰-۷۰۰ MB مصرف کند، پس برای حداقل ۴ GB RAM و ۲ یا بیشتر vCPU برنامه‌ریزی کنید. Runner (3 / 6 / 100) برای چند مرورگر همزمان مناسب است؛ Hunter (4 / 8 / 140) فضای واقعی برای یک pool از آنها می‌دهد.
• خزش‌های سنگین، موازی — frontier بزرگ، رندرهای همزمان زیاد، یک پایگاه داده in-process. به Alpha (6 / 12 / 200) یا بالاتر ارتقا دهید تا OOM killer هرگز یک worker را در وسط اجرا نگیرد.

Chromium headless تقریباً همیشه گلوگاه است. اگر اسکرپر شما نیازی به یک مرورگر واقعی ندارد، یک HTTP client ساده اجرا کنید و چند برابر throughput بیشتر را روی همان سطح به دست خواهید آورد.

اکثر رنج‌های IP ابر بودجه از قبل در لیست سیاه هستند. از آنها برای هرزنامه، سوءاستفاده و اسکرپینگ قبلی استفاده شده، پس سیستم‌های ضد-ربات و لیست‌های سیاه DNS از قبل به آنها اعتماد ندارند — که یعنی captcha بیشتر، پاسخ‌های 403 و 429 بیشتر، و مسدودی کامل قبل از اینکه خزنده شما کار اشتباهی انجام دهد. شهرت IP، نه رفتار شما، همان چیزی است که باعث به چالش کشیدن شما می‌شود.

ما فضای IP تمیز را غربال و تخصیص می‌دهیم، و هر سرور با یک IPv4 اختصاصی به علاوه یک IPv6 /64 ارسال می‌شود. یک آدرس تمیز و غیر-بازیافتی یعنی چالش‌های بینابینی کمتر و نسبت بالاتری از صفحاتی که به سادگی بارگذاری می‌شوند. لازم نیست این را بر اساس ایمان بپذیرید: قبل یا بعد از استقرار، IP خود را از طریق Spamhaus، AbuseIPDB یا Cisco Talos بررسی کنید. راهنمای ما برای بررسی لیست سیاه بودن IP آن را طی می‌کند، و اگر روی یک آدرس پرچم‌دار قرار گرفتید می‌توانید از طریق پنل کنترل درخواست تعویض کنید.

یک VPS و یک شبکه پروکسی مشکلات متفاوتی را حل می‌کنند، و اشتباه گرفتن آنها پول را هدر می‌دهد. VPS جایی است که اسکرپر شما اجرا می‌شود — محاسبات، صف، پردازش، ذخیره‌سازی. یک پروکسی IP خروجی است که درخواست‌های شما از آن به نظر می‌رسند. یک VPS منفرد یک IP اختصاصی تمیز دارد، که برای خزش با حجم متوسط در برابر سایت‌هایی که به ازای هر IP محدودیت نرخ دارند نه مسدودیت کلی، عالی است.

وقتی یک IP منفرد دیگر کافی نیست پروکسی‌های دوار را بالای VPS اضافه می‌کنید: حجم بالای درخواست که محدودیت نرخ per-IP را فعال می‌کند، داده هدف‌گیری جغرافیایی که باید از کشورهای خاص به نظر برسد، یا دفاع‌های تهاجمی ضد-ربات که هر IP که بیشتر از تعداد انگشتانه درخواست می‌کند را مسدود می‌کنند. در آن معماری VPS همچنان تمام کار را انجام می‌دهد و rotation را هماهنگ می‌کند؛ پروکسی‌ها فقط آدرس منبع ظاهری را تغییر می‌دهند. برای اکثر پروژه‌ها، با IP تمیز VPS به تنهایی شروع کنید، نرخ مسدودی خود را اندازه بگیرید، و فقط زمانی که داده‌ها ثابت کردند نیاز دارید پروکسی اضافه کنید.

یک Ubuntu LTS اخیر استقرار دهید (همچنین Debian، AlmaLinux، Rocky، Fedora، Arch، Alpine و FreeBSD ارائه می‌دهیم) و از آنجا ادامه دهید:

• Scrapy — موثرترین انتخاب برای خزش‌های متنی بزرگ. موتور async آن در RAM متوسط همزمانی بالا را حفظ می‌کند؛ CONCURRENT_REQUESTS، DOWNLOAD_DELAY و AUTOTHROTTLE را تنظیم کنید تا مودبانه بمانید و از مسدودی‌های خودساخته جلوگیری کنید.
• Playwright یا Crawlee — فقط زمانی که داده پشت JavaScript است به اینها مراجعه کنید. Chromium headless را با --no-sandbox در یک کانتینر یا یک کاربر محدود اجرا کنید، و تعداد context‌های مرورگر همزمان را به بودجه RAM خود محدود کنید تا سیستم‌عامل شروع به swapping نکند.

بهداشت عملیاتی کارهای طولانی را سالم نگه می‌دارد: دایرکتوری user-data Chrome headless و خروجی خود را به دیسک NVMe بفرستید، نه به یک mount شبکه‌ای؛ crawler را زیر systemd اجرا کنید تا در صورت خرابی راه‌اندازی مجدد شود؛ و در اولین اجرای کامل حافظه را با htop زیر نظر بگیرید، زیرا یک pool مرورگر نشت‌کننده رایج‌ترین دلیل یک خزش متوقف‌شده است. بدون مدرک هویتی از طریق checkout کریپتو VPS ما پرداخت کنید.

اسکرپینگ یک ابزار است، و قانونی بودن آن در نحوه استفاده از آن نهفته است. جمع‌آوری داده‌های قابل دسترس عمومی در چارچوب شرایط خدمات یک سایت هدف و قانون قابل اعمال یک استفاده مشروع و رایج از یک سرور است. ضربه زدن به یک سایت تا سقوطش، دور زدن احراز هویت، یا برداشت داده‌های شخصی در نقض قانون حریم خصوصی نیست — و آن بر عهده شما است، نه زیرساخت.

سیاست ما ساده است. ما یک موضع عملیاتی آفشور و فقط-حکم-دادگاه داریم: شکایات معمول به عنوان سیاست مدیریت می‌شوند نه حذف خودکار، و ما بر احکام دادگاه معتبر در حوزه قضایی سرور عمل می‌کنیم. این سیاست عملیاتی است، نه مصونیت قانونی — ما هرگز ادعا نمی‌کنیم سرور دست‌نخورنی است. یک کف سخت‌گیرانه نیز وجود دارد که برای هر حساب بدون استثنا اعمال می‌شود: بدون CSAM، بدون قاچاق سلاح، بدون تروریسم. قبل از بزرگ‌مقیاس کردن یک خزش، خط‌مشی استفاده قابل قبول را کامل بخوانید.

برای اکثر پروژه‌های اسکرپینگ انتخاب ساده است. خزنده‌های فقط متن روی Cub یا Scout به راحتی کار می‌کنند؛ هر چیزی که مرورگر headless را هدایت می‌کند Runner یا Hunter را برای RAM و vCPU که Chromium طلب می‌کند می‌خواهد؛ کارهای موازی بزرگ به Alpha و بالاتر مقیاس می‌شوند. هر سطح KVM تمام‌NVMe با یک IP اختصاصی تمیز و ترافیک نامحدود است، پس یک خزش سنگین هرگز با یک سقف پهنای باند مواجه نمی‌شود، و می‌توانید با رشد بار کاری اندازه تغییر دهید.

استقرار حدود ۶۰ ثانیه پس از تأیید پرداخت طول می‌کشد، بدون هزینه راه‌اندازی و قیمت‌گذاری ماه‌به‌ماه صادقانه — پیش‌پرداخت سالانه دو ماه رایگان می‌دهد. با Monero، BTC، ETH، LTC، USDT یا USDC-on-Base پرداخت کنید؛ ما no-KYC هستیم، پس هیچ مدرک هویتی و آپلود مدارکی نیست، فقط یک ایمیل برای تحویل اطلاعات ورود. این ما را خصوصی، نه ناشناس می‌کند: ناشناسی واقعی همچنین به بهداشت پرداخت و شبکه خودتان بستگی دارد، از جمله اینکه کیف پولی که از آن پرداخت می‌کنید را از کجا تأمین می‌کنید.