Лучший VPS для веб-парсинга

VPS даёт краулеру три вещи, которых нет у общего хостинга и serverless-функций: выделенные ресурсы, постоянное состояние и неограниченный контроль ОС. Поскольку каждый тариф — KVM с выделенным vCPU и RAM, а не общий контейнер, длительный краулинг не будет ограничен в момент всплеска у соседа. Вы получаете root и устанавливаете всё, что нужно вашей задаче — Python со Scrapy, Node с Crawlee, полный headless Chromium под Playwright, собственную очередь и базу данных — и держите всё это работающим по расписанию с cron или таймерами systemd.

Постоянство важнее, чем люди думают. Краулер, поддерживающий собственную очередь запросов, хранилище дедупликации и частичные результаты, переживает перезапуски и возобновляет работу чисто — это гораздо надёжнее, чем stateless-вызовы функций, сбрасывающихся при каждом запуске. Безлимитный трафик на каждом тарифе означает, что большой краулинг не упрётся в превышение пропускной способности в середине задания, а выделенный NVMe-диск держит локальный кэш, разобранные данные и любую встроенную базу данных быстрыми. Если вы новичок в настройке, документация проводит через первый запуск и доступ по SSH.

Подбирайте тариф под то, что реально делает ваш краулер, а не под размер целевого сайта. Решающий фактор — нужно ли вам рендерить JavaScript.

• Лёгкий, текстовый парсинг — HTML-запросы с requests, httpx или Scrapy, парсинг с lxml или BeautifulSoup. Это нетребовательно к памяти и IO-ограниченно; Cub (1 vCPU / 2 ГБ / 40 ГБ) или Scout (2 / 4 / 70) справляются без проблем даже при высоком параллелизме.
• Рендеринг JavaScript и headless-браузеры — Playwright, Puppeteer или Selenium, управляющие headless Chromium. Каждый контекст браузера может потреблять 300-700 МБ, поэтому планируйте минимум 4 ГБ RAM и 2+ vCPU. Runner (3 / 6 / 100) подходит для нескольких одновременных браузеров; Hunter (4 / 8 / 140) даёт реальный запас для их пула.
• Тяжёлый параллельный краулинг — большой фронтир, множество одновременных рендеров, база данных в процессе. Переходите на Alpha (6 / 12 / 200) или выше, чтобы OOM killer никогда не убивал воркер в середине задания.

Headless Chromium — почти всегда узкое место. Если ваш краулер не нуждается в настоящем браузере, запускайте простой HTTP-клиент и получите в несколько раз большую пропускную способность на том же тарифе.

Большинство IP-диапазонов бюджетных облаков поступают уже занесёнными в чёрные списки. Они использовались для спама, злоупотреблений и предыдущего парсинга, поэтому антибот-системы и DNS-блэклисты уже не доверяют им — что означает больше капч, больше ответов 403 и 429, и прямые блокировки ещё до того, как ваш краулер сделал что-то не так. Репутация IP, а не ваше поведение — вот что вызывает проверки.

Мы проверяем и выделяем чистое IP-пространство, и каждый сервер поставляется с одним выделенным IPv4 плюс IPv6 /64. Чистый, непереработанный адрес означает меньше промежуточных проверок и большую долю страниц, которые просто загружаются. Вам не нужно верить на слово: до или после развёртывания проверьте ваш IP через Spamhaus, AbuseIPDB или Cisco Talos. Наше руководство по проверке занесения IP в чёрный список проведёт через это, и если вы когда-нибудь окажетесь на помеченном адресе — можете запросить смену через панель управления.

VPS и сеть прокси решают разные проблемы, и путаница между ними ведёт к потере денег. VPS — это место, где работает ваш краулер: вычисления, очередь, парсинг, хранилище. Прокси — это выходной IP, с которого появляются ваши запросы. Один VPS имеет один чистый выделенный IP, что отлично для парсинга умеренного объёма против сайтов с лимитами по IP, а не тотальными блокировками.

Вы добавляете ротируемые прокси поверх VPS, когда одного IP больше недостаточно: большой объём запросов, нарушающий лимиты по IP, геотаргетированные данные, должные выглядеть исходящими из конкретных стран, или агрессивная антибот-защита, блокирующая любой IP при более чем нескольких запросах. В такой архитектуре VPS по-прежнему выполняет всю работу и оркестрирует ротацию; прокси только меняют видимый исходный адрес. Для большинства проектов начните с чистого IP VPS, измерьте частоту блокировок и добавляйте прокси только когда данные докажут их необходимость.

Разверните свежую Ubuntu LTS (мы также предлагаем Debian, AlmaLinux, Rocky, Fedora, Arch, Alpine и FreeBSD) и стройте дальше:

• Scrapy — наиболее эффективный выбор для большого текстового краулинга. Его async-движок поддерживает высокий параллелизм при скромной RAM; настройте CONCURRENT_REQUESTS, DOWNLOAD_DELAY и AUTOTHROTTLE, чтобы оставаться вежливым и избегать самоустроенных блокировок.
• Playwright или Crawlee — прибегайте к ним только когда данные скрыты за JavaScript. Запускайте headless Chromium с --no-sandbox в контейнере или ограниченном пользователе, и ограничивайте число одновременных контекстов браузера в рамках бюджета RAM, чтобы ОС не начала свопинг.

Операционная гигиена поддерживает здоровье длительных заданий: отправляйте директорию user-data headless Chrome и вывод на NVMe-диск, а не на сетевой маунт; запускайте краулер под systemd, чтобы он перезапускался при сбое; и следите за памятью с помощью htop во время первого полного запуска, поскольку утечка пула браузеров — наиболее распространённая причина зависшего краулинга. Оплатите всё без ID через наш крипто VPS checkout.

Парсинг — это инструмент, и законность зависит от того, как вы его используете. Сбор публично доступных данных в рамках условий использования целевого сайта и применимого закона — законное, распространённое использование сервера. Перегрузка сайта до отказа, обход аутентификации или сбор персональных данных в нарушение законодательства о приватности — нет, и это ваша ответственность, а не инфраструктуры.

Наша политика проста. Мы ведём офшорную операционную позицию только по судебным постановлениям: рутинные жалобы обрабатываются как политика, а не автоматические удаления, и мы действуем по действительным судебным постановлениям в юрисдикции сервера. Это операционная политика, а не юридическая неприкосновенность — мы никогда не утверждаем, что сервер неприкосновенен. Также существует абсолютный минимум, применяемый к каждому аккаунту без исключений: никакого CSAM, торговли оружием, терроризма. Прочтите полную политику допустимого использования перед масштабированием краулинга.

Для большинства проектов парсинга выбор прост. Текстовые краулеры отлично работают на Cub или Scout; всё, что управляет headless-браузерами, хочет Runner или Hunter для RAM и vCPU, которых требует Chromium; большие параллельные задания масштабируются на Alpha и выше. Каждый тариф — all-NVMe KVM с чистым выделенным IP и безлимитным трафиком, так что тяжёлый краулинг никогда не упрётся в лимит пропускной способности, и вы можете изменить размер по мере роста нагрузки.

Развёртывание занимает около 60 секунд после подтверждения платежа, без платы за настройку и с честными помесячными ценами — годовая предоплата даёт два месяца бесплатно. Оплачивайте Monero, BTC, ETH, LTC, USDT или USDC-on-Base; мы no-KYC, поэтому нет ID и загрузки документов, только email для доставки учётных данных. Это делает нас приватными, а не анонимными: настоящая анонимность также зависит от вашей гигиены платежей и сети, включая то, откуда вы пополняете кошелёк, которым платите.