Web kazıma için en iyi VPS

Bir VPS, tarayıcıya paylaşımlı barındırma ve sunucusuz işlevlerin veremediği üç şeyi sağlar: adanmış kaynaklar, kalıcı durum ve kısıtlanmamış işletim sistemi kontrolü. Her katman paylaşımlı container yerine tahsis edilmiş vCPU ve RAM ile KVM olduğundan, uzun süreli bir tarama, bir komşu zirve yaptığı anda kısıtlanmaz. Root erişiminiz olduğundan işinizin ihtiyaç duyduğu her şeyi yüklersiniz — Scrapy ile Python, Crawlee ile Node, Playwright altında tam başsız Chromium, kendi kuyruğunuz ve veritabanınız — ve cron veya systemd zamanlayıcılarıyla bir programa göre çalışır tutarsınız.

Kalıcılık beklenenden daha fazla önem taşır. Kendi istek kuyruğunu, tekilleştirme deposunu ve kısmi sonuçlarını koruyan bir kazıyıcı yeniden başlatmalardan sağ çıkar ve temiz biçimde devam eder; bu, her çalıştırmada sıfırlanan durumsuz işlev çağrılarından çok daha güvenilirdir. Her katmanda sınırsız trafik, büyük bir taramanın iş ortasında bant genişliği fazlasına çarpmamasını sağlar; adanmış NVMe disk ise yerel önbelleğinizi, ayrıştırılmış çıktınızı ve gömülü veritabanınızı hızlı tutar. Bir sunucu sağlama konusunda yeniyseniz, belgeler ilk önyükleme ve SSH erişimini ele alır.

Katmanı hedef sitenin büyüklüğüne değil, tarayıcınızın gerçekte ne yaptığına göre eşleştirin. Belirleyici faktör JavaScript render edip etmediğinizdir.

• Hafif, yalnızca metin kazıma — requests, httpx veya Scrapy ile HTML getirme, lxml veya BeautifulSoup ile ayrıştırma. Bu bellek açısından hafif ve IO'ya bağlıdır; yüksek eşzamanlılıkta bile Cub (1 vCPU / 2 GB / 40 GB) veya Scout (2 / 4 / 70) rahatça üstesinden gelir.
• JavaScript render etme ve başsız tarayıcılar — başsız Chromium'u yönlendiren Playwright, Puppeteer veya Selenium. Her tarayıcı bağlamı 300-700 MB tüketebilir; en az 4 GB RAM ve 2 veya daha fazla vCPU planlayın. Runner (3 / 6 / 100) birkaç eşzamanlı tarayıcıya uygundur; Hunter (4 / 8 / 140) bunların havuzu için gerçek ek kapasite sağlar.
• Ağır, paralel taramalar — büyük sınır, çok sayıda eşzamanlı render, işlem içi veritabanı. OOM killer'ın çalışma ortasında bir işçiyi asla öldürmemesi için Alpha'ya (6 / 12 / 200) veya üzerine geçin.

Başsız Chromium hemen her zaman darboğazdır. Kazıyıcınız gerçek tarayıcıya ihtiyaç duymuyorsa, sade HTTP istemcisi çalıştırın; aynı katmanda birkaç kat daha fazla verim elde edersiniz.

Çoğu bütçe bulut IP aralığı önceden kara listeye alınmış olarak gelir. Spam, kötüye kullanım ve önceki kazımalar için kullanılmışlardır; dolayısıyla bot önleme sistemleri ve DNS kara listeleri onlara zaten güvenmez — bu, tarayıcınız henüz bir şey yapmadan daha fazla captcha, daha fazla 403 ve 429 yanıtı ve tamamen blok anlamına gelir. Sizi zorlayan davranışınız değil, IP'nin itibarıdır.

Temiz IP alanı tarıyor ve ayırıyoruz; her sunucu bir adanmış IPv4 ve IPv6 /64 ile birlikte gelir. Temiz, geri dönüştürülmemiş adres, daha az araya giren meydan okuma ve sayfaların basitçe yüklendiği daha yüksek pay anlamına gelir. Bunu sözümüze güvenerek kabul etmek zorunda değilsiniz: kurulmadan önce veya sonra IP'nizi Spamhaus, AbuseIPDB veya Cisco Talos'tan geçirin. IP kara listede mi kontrol etme kılavuzumuz adım adım yönlendirme sunar; işaretlenmiş bir adresle karşılaşırsanız kontrol paneli üzerinden değişim talep edebilirsiniz.

VPS ve proxy ağı farklı sorunları çözer; ikisini karıştırmak para israfına yol açar. VPS, kazıyıcınızın çalıştığı yerdir — işlem gücü, kuyruk, ayrıştırma, depolama. Proxy, isteklerinizin görünüşe göre geldiği çıkış IP'sidir. Tek bir VPS'in bir temiz adanmış IP'si vardır; bu, IP başına hız sınırlaması yapan ancak toplu engelleme yapmayan sitelere karşı orta hacimli tarama için mükemmeldir.

Tek IP artık yetmediğinde VPS'in üstüne dönen proxy'ler eklersiniz: IP başına hız sınırlarını tetikleyecek yüksek istek hacmi, belirli ülkelerden geliyor görünmesi gereken coğrafi hedefli veriler veya birkaç istekten fazlasını yapan her IP'yi engelleyen agresif bot önleme savunmaları. Bu mimaride VPS hâlâ tüm işi yapar ve rotasyonu orkestra eder; proxy'ler yalnızca görünür kaynak adresini değiştirir. Çoğu proje için temiz VPS IP'siyle başlayın, blok oranınızı ölçün ve yalnızca veriler ihtiyaç duyduğunuzu kanıtladığında proxy ekleyin.

Güncel bir Ubuntu LTS dağıtın (ayrıca Debian, AlmaLinux, Rocky, Fedora, Arch, Alpine ve FreeBSD sunuyoruz) ve oradan oluşturun:

• Scrapy — büyük metin taramaları için en verimli seçim. Eşzamansız motoru mütevazı RAM ile yüksek eşzamanlılığı sürdürür; nazik kalmak ve kendi kendine neden olunan blokları önlemek için CONCURRENT_REQUESTS, DOWNLOAD_DELAY ve AUTOTHROTTLE'u ayarlayın.
• Playwright veya Crawlee — yalnızca veri JavaScript'in arkasındaysa bunlara başvurun. Başsız Chromium'u bir container'da veya kısıtlı kullanıcı altında --no-sandbox ile çalıştırın; işletim sisteminin takas yapmaya başlamaması için eşzamanlı tarayıcı bağlamı sayısını RAM bütçenizle sınırlayın.

Operasyonel hijyen uzun işleri sağlıklı tutar: başsız Chrome'un kullanıcı verisi dizinini ve çıktınızı ağ montajına değil NVMe diskine gönderin; kazıyıcıyı başarısızlıkta yeniden başlaması için systemd altında çalıştırın; ilk tam çalıştırma sırasında belleği htop ile izleyin, çünkü sızdıran tarayıcı havuzu durmuş taramanın en yaygın nedenidir. Bunların tümü için kimliksiz kripto VPS ödeme sistemimiz üzerinden ödeme yapın.

Kazıma bir araçtır ve yasallık onu nasıl kullandığınızda yatmaktadır. Hedef sitenin kullanım koşulları ve geçerli yasa kapsamında kamuya açık veriler toplamak, meşru ve yaygın bir sunucu kullanımıdır. Bir siteyi çökene kadar yüklemek, kimlik doğrulamayı atlatmak veya gizlilik yasasını ihlal ederek kişisel veri toplamak değildir — ve bu, altyapının değil sizin sorumluluğunuzdur.

Politikamız basittir. Rutin şikayetlerin politika olarak ele alındığı, otomatik kaldırma yapılmadığı ve sunucunun yetki alanındaki geçerli mahkeme kararlarına göre hareket ettiğimiz offshore, yalnızca mahkeme kararına dayalı operasyonel tutum izliyoruz. Bu operasyonel politikadır, yasal dokunulmazlık değil — bir sunucunun dokunulmaz olduğunu asla iddia etmeyiz. Ayrıca her hesaba istisna tanımaz biçimde uygulanan katı bir taban da vardır: CSAM yok, silah ticareti yok, terorizm yok. Büyük ölçekli bir tarama başlatmadan önce tam kabul edilebilir kullanım politikasını okuyun.

Çoğu kazıma projesi için seçim basittir. Yalnızca metin tarayıcıları Cub veya Scout'ta mutlu çalışır; başsız tarayıcı kullanan her şey, Chromium'un talep ettiği RAM ve vCPU için Runner veya Hunter'a ihtiyaç duyar; büyük paralel işler Alpha ve üzerine ölçeklenir. Her katman temiz adanmış IP ve sınırsız trafikle tam NVMe KVM'dir; ağır tarama hiçbir zaman bant genişliği sınırıyla karşılaşmaz ve iş yükünüz büyüdükçe yeniden boyutlandırabilirsiniz.

Kurulum, ödeme onaylandıktan sonra yaklaşık 60 saniye sürer; kurulum ücreti yoktur ve dürüst aylık fiyatlandırma — yıllık ön ödeme iki ay ücretsiz sunar. Monero, BTC, ETH, LTC, USDT veya USDC-on-Base ile ödeme yapın; no-KYC'yiz, dolayısıyla kimlik ve belge yükleme yoktur, yalnızca kimlik bilgisi iletimi için e-posta. Bu sizi özel kılar, anonim değil: gerçek anonimlik aynı zamanda kendi ödeme ve ağ hijyeninize de bağlıdır; ödeme yaptığınız cüzdanı nerede fonladığınız dahil.