O melhor VPS para web scraping

Um VPS oferece a um crawler as três coisas que hospedagem compartilhada e funções serverless não conseguem: recursos dedicados, estado persistente e controle irrestrito do SO. Como cada plano é KVM com vCPU e RAM alocados em vez de um container compartilhado, um crawl de longa duração não será limitado no momento em que um vizinho tiver um pico. Você tem root, então instala o que seu trabalho precisa — Python com Scrapy, Node com Crawlee, um Chromium headless completo sob o Playwright, sua própria fila e banco de dados — e mantém em execução em uma programação com timers cron ou systemd.

Persistência importa mais do que as pessoas esperam. Um scraper que mantém sua própria fila de requisições, armazenamento de deduplicação e resultados parciais sobrevive a reinicializações e retoma de forma limpa, o que é muito mais confiável do que invocações de funções sem estado que reiniciam a cada execução. Tráfego ilimitado em todos os planos significa que um crawl grande não atingirá uma sobrecarga de largura de banda no meio do trabalho, e um disco NVMe dedicado mantém seu cache local, saída processada e qualquer banco de dados incorporado rápido. Se você é novo em provisionar um, a documentação percorre o primeiro boot e acesso SSH.

Combine o plano com o que seu crawler realmente faz, não com o tamanho do site alvo. O fator decisivo é se você renderiza JavaScript.

• Scraping leve, somente texto — buscas HTML com requests, httpx ou Scrapy, análise com lxml ou BeautifulSoup. É leve em memória e limitado por IO; o Cub (1 vCPU / 2 GB / 40 GB) ou Scout (2 / 4 / 70) lidam com isso confortavelmente, mesmo em alta concorrência.
• Renderização JavaScript e navegadores headless — Playwright, Puppeteer ou Selenium controlando o Chromium headless. Cada contexto de navegador pode consumir 300-700 MB, então planeje pelo menos 4 GB de RAM e 2 ou mais vCPU. O Runner (3 / 6 / 100) é adequado para alguns navegadores simultâneos; o Hunter (4 / 8 / 140) dá espaço real para um pool deles.
• Crawls pesados e paralelos — fronteira grande, muitas renderizações simultâneas, um banco de dados em processo. Avance para o Alpha (6 / 12 / 200) ou superior para que o OOM killer nunca interrompa um worker no meio da execução.

O Chromium headless é quase sempre o gargalo. Se seu scraper não precisar de um navegador real, execute um cliente HTTP simples e você obterá várias vezes o throughput no mesmo plano.

A maioria dos intervalos de IP de nuvem de baixo custo chega pré-bloqueada. Foram usados para spam, abuse e scraping anterior, então sistemas anti-bot e listas negras de DNS já desconfiam deles — o que significa mais captchas, mais respostas 403 e 429, e bloqueios diretos antes que seu crawler faça qualquer coisa errada. A reputação do IP, não seu comportamento, é o que faz você ser desafiado.

Rastreamos e alocamos espaço de IP limpo, e cada servidor é entregue com um IPv4 dedicado mais um IPv6 /64. Um endereço limpo e não reciclado significa menos desafios intermediários e uma parcela maior de páginas que simplesmente carregam. Você não precisa acreditar nisso cegamente: antes ou depois de fazer o deploy, passe seu IP pelo Spamhaus, AbuseIPDB ou Cisco Talos. Nosso guia para verificar se um IP está na lista negra percorre isso, e se você alguma vez cair em um endereço sinalizado pode solicitar uma troca pelo painel de controle.

Um VPS e uma rede de proxies resolvem problemas diferentes, e confundi-los desperdiça dinheiro. O VPS é onde seu scraper executa — o processamento, a fila, a análise, o armazenamento. Um proxy é o IP de saída do qual suas requisições parecem vir. Um único VPS tem um IP limpo dedicado, o que é excelente para crawling de volume moderado contra sites que limitam a taxa por IP em vez de bloquear indiscriminadamente.

Você adiciona proxies rotativos em cima do VPS quando um único IP não é mais suficiente: alto volume de requisições que acionaria limites de taxa por IP, dados geo-direcionados que devem parecer originar de países específicos, ou defesas anti-bot agressivas que bloqueiam qualquer IP fazendo mais do que um punhado de requisições. Nessa arquitetura, o VPS ainda faz todo o trabalho e orquestra a rotação; os proxies apenas mudam o endereço de origem aparente. Para a maioria dos projetos, comece com o IP limpo do VPS sozinho, meça sua taxa de bloqueio e adicione proxies apenas quando os dados provarem que você precisa deles.

Faça o deploy de um Ubuntu LTS recente (também oferecemos Debian, AlmaLinux, Rocky, Fedora, Arch, Alpine e FreeBSD) e construa a partir daí:

• Scrapy — a escolha mais eficiente para grandes crawls de texto. Seu motor async sustenta alta concorrência com RAM modesta; ajuste CONCURRENT_REQUESTS, DOWNLOAD_DELAY e AUTOTHROTTLE para ser educado e evitar bloqueios auto-infligidos.
• Playwright ou Crawlee — recorra a estes apenas quando os dados estiverem por trás de JavaScript. Execute o Chromium headless com --no-sandbox em um container ou um usuário restrito, e limite o número de contextos de navegador simultâneos ao seu orçamento de RAM para que o SO não comece a fazer swap.

Higiene operacional mantém trabalhos longos saudáveis: envie o diretório user-data do Chrome headless e sua saída para o disco NVMe, não um mount de rede; execute o crawler sob systemd para reiniciar em caso de falha; e observe a memória com htop durante a primeira execução completa, porque um pool de navegadores com vazamento é a causa mais comum de um crawl travado. Pague por qualquer coisa sem ID pelo nosso checkout de VPS cripto.

Scraping é uma ferramenta, e a legalidade está em como você a usa. Coletar dados publicamente acessíveis dentro dos termos de serviço de um site alvo e da lei aplicável é um uso legítimo e comum de um servidor. Bombardear um site até ele cair, contornar autenticação ou coletar dados pessoais em violação da lei de privacidade não é — e isso é de sua responsabilidade, não da infraestrutura.

Nossa política é direta. Operamos com uma postura offshore somente por ordem judicial: reclamações rotineiras são tratadas como política em vez de remoções automáticas, e agimos com base em ordens judiciais válidas na jurisdição do servidor. Isso é política operacional, não imunidade legal — nunca afirmamos que um servidor é intocável. Há também um limite rígido que se aplica a todas as contas sem exceções: sem CSAM, sem tráfico de armas, sem terrorismo. Leia a política de uso aceitável completa antes de escalar um crawl.

Para a maioria dos projetos de scraping a escolha é simples. Crawlers somente texto rodam felizmente no Cub ou Scout; qualquer coisa que controle navegadores headless quer o Runner ou Hunter para a RAM e vCPU que o Chromium exige; trabalhos paralelos grandes escalam para o Alpha e acima. Todos os planos são KVM NVMe completo com um IP dedicado limpo e tráfego ilimitado, então um crawl pesado nunca encontra um limite de largura de banda, e você pode redimensionar conforme sua carga de trabalho cresce.

O deploy leva cerca de 60 segundos após a confirmação do pagamento, sem taxa de instalação e preço honesto mês a mês — o pré-pagamento anual lhe dá dois meses grátis. Pague com Monero, BTC, ETH, LTC, USDT ou USDC-on-Base; somos no-KYC, então não há ID e nenhum upload de documentos, apenas um e-mail para entrega de credenciais. Isso nos faz privados, não anônimos: o anonimato real também depende da sua própria higiene de pagamento e rede, incluindo onde você financia a carteira de onde paga.