VPS tốt nhất cho web scraping

VPS cho crawler ba thứ mà lưu trữ chia sẻ và hàm serverless không thể: tài nguyên riêng, trạng thái bền vững và quyền kiểm soát OS không hạn chế. Vì mỗi gói là KVM với vCPU và RAM được phân bổ thay vì container chia sẻ, một crawl chạy lâu sẽ không bị điều chỉnh ngay khi hàng xóm tăng đột biến. Bạn có root, nên bạn cài đặt bất cứ thứ gì công việc cần — Python với Scrapy, Node với Crawlee, Chromium headless đầy đủ dưới Playwright, hàng đợi và cơ sở dữ liệu riêng — và bạn giữ nó chạy theo lịch trình với cron hoặc timer systemd.

Tính bền vững quan trọng hơn người ta nghĩ. Scraper duy trì hàng đợi yêu cầu riêng, kho lưu trữ trùng lặp và kết quả một phần sống sót qua khởi động lại và tiếp tục gọn gàng, đáng tin cậy hơn nhiều so với lời gọi hàm stateless reset mỗi lần chạy. Băng thông không giới hạn trên mọi gói có nghĩa là crawl lớn sẽ không vượt băng thông giữa chừng, và ổ NVMe riêng giữ cache cục bộ, đầu ra đã phân tích cú pháp và cơ sở dữ liệu nhúng bất kỳ nhanh. Nếu bạn mới bắt đầu cài đặt, tài liệu hướng dẫn qua lần khởi động đầu và truy cập SSH.

Khớp gói với những gì crawler thực sự làm, không phải kích thước trang đích. Yếu tố quyết định là liệu bạn có render JavaScript không.

• Scraping nhẹ, chỉ văn bản — tải HTML với requests, httpx hoặc Scrapy, phân tích cú pháp với lxml hoặc BeautifulSoup. Điều này ít tốn bộ nhớ và bị giới hạn bởi I/O; Cub (1 vCPU / 2 GB / 40 GB) hoặc Scout (2 / 4 / 70) xử lý thoải mái, ngay cả ở đồng thời cao.
• Render JavaScript và trình duyệt headless — Playwright, Puppeteer hoặc Selenium điều khiển Chromium headless. Mỗi context trình duyệt có thể dùng 300-700 MB, nên hãy lên kế hoạch cho ít nhất 4 GB RAM và 2 hoặc nhiều hơn vCPU. Runner (3 / 6 / 100) phù hợp cho vài trình duyệt đồng thời; Hunter (4 / 8 / 140) cho không gian thực sự cho nhóm của chúng.
• Crawl song song nặng — frontier lớn, nhiều render đồng thời, cơ sở dữ liệu trong tiến trình. Nâng lên Alpha (6 / 12 / 200) hoặc cao hơn để OOM killer không bao giờ thu hồi worker giữa chừng.

Chromium headless hầu như luôn là điểm nghẽn cổ chai. Nếu scraper không cần trình duyệt thực, hãy chạy HTTP client đơn giản và bạn sẽ đạt thông lượng gấp vài lần trên cùng gói.

Hầu hết dải IP budget-cloud đến đã bị đưa vào danh sách đen. Chúng đã được dùng cho spam, lạm dụng và scraping trước đó, nên hệ thống anti-bot và danh sách đen DNS đã không tin tưởng chúng — nghĩa là nhiều captcha hơn, nhiều phản hồi 403 và 429 hơn, và chặn hoàn toàn trước khi crawler của bạn làm bất cứ điều gì sai. Danh tiếng của IP, không phải hành vi của bạn, là thứ khiến bạn bị thách thức.

Chúng tôi kiểm tra và phân bổ không gian IP sạch, và mỗi máy chủ đi kèm một IPv4 riêng cộng với IPv6 /64. Địa chỉ sạch không tái chế có nghĩa là ít thách thức trung gian hơn và tỷ lệ trang tải thành công cao hơn. Bạn không phải tin vào lời nói: trước hoặc sau khi bạn triển khai, hãy chạy IP qua Spamhaus, AbuseIPDB hoặc Cisco Talos. Hướng dẫn kiểm tra IP có bị đưa vào danh sách đen không của chúng tôi hướng dẫn qua nó, và nếu bạn nhận được địa chỉ bị gắn cờ bạn có thể yêu cầu đổi qua bảng điều khiển.

VPS và mạng proxy giải quyết các vấn đề khác nhau, và nhầm lẫn chúng là lãng phí tiền. VPS là nơi scraper chạy — tính toán, hàng đợi, phân tích cú pháp, lưu trữ. Proxy là IP thoát mà các yêu cầu của bạn có vẻ xuất phát từ. Một VPS có một IP sạch riêng, hoàn hảo cho crawling khối lượng vừa phải đối với các trang giới hạn tốc độ theo IP thay vì chặn hoàn toàn.

Bạn thêm proxy xoay vòng trên VPS khi một IP đơn không còn đủ: khối lượng yêu cầu cao sẽ kích hoạt giới hạn tốc độ theo IP, dữ liệu geo-targeted phải có vẻ xuất phát từ các quốc gia cụ thể, hoặc phòng thủ anti-bot tích cực chặn bất kỳ IP nào thực hiện nhiều hơn một vài yêu cầu. Trong kiến trúc đó VPS vẫn làm tất cả công việc và điều phối xoay vòng; proxy chỉ thay đổi địa chỉ nguồn rõ ràng. Đối với hầu hết dự án, hãy bắt đầu với IP VPS sạch một mình, đo tỷ lệ chặn, và chỉ thêm proxy khi dữ liệu chứng minh bạn cần chúng.

Triển khai Ubuntu LTS gần đây (chúng tôi cũng cung cấp Debian, AlmaLinux, Rocky, Fedora, Arch, Alpine và FreeBSD) và xây dựng từ đó:

• Scrapy — lựa chọn hiệu quả nhất cho crawl văn bản lớn. Engine async của nó duy trì đồng thời cao trên RAM vừa phải; tinh chỉnh CONCURRENT_REQUESTS, DOWNLOAD_DELAY và AUTOTHROTTLE để ở lịch sự và tránh bị chặn tự gây ra.
• Playwright hoặc Crawlee — chỉ dùng khi dữ liệu ở sau JavaScript và bạn thực sự cần trình duyệt headless, vì Chromium nhân lên nhu cầu RAM của bạn. Chạy Chromium headless với --no-sandbox trong container hoặc người dùng bị hạn chế, và giới hạn số context trình duyệt đồng thời theo ngân sách RAM để OS không bắt đầu swap.

Vệ sinh vận hành giữ các công việc lâu dài khỏe mạnh: gửi thư mục user-data của Chrome headless và đầu ra vào ổ NVMe, không phải mount mạng; chạy crawler dưới systemd để nó khởi động lại khi thất bại; và theo dõi bộ nhớ với htop trong lần chạy đầy đủ đầu tiên, vì nhóm trình duyệt rò rỉ là nguyên nhân phổ biến nhất của crawl bị đình trệ. Thanh toán bất cứ điều gì trong số đó mà không cần ID qua thanh toán VPS crypto của chúng tôi.

Scraping là công cụ, và tính hợp pháp nằm ở cách bạn sử dụng nó. Thu thập dữ liệu công khai có thể truy cập trong điều khoản dịch vụ của trang đích và luật áp dụng là sử dụng máy chủ hợp pháp, phổ biến. Tấn công trang cho đến khi sập, vượt qua xác thực, hoặc thu thập dữ liệu cá nhân vi phạm luật bảo mật thì không — và đó là trách nhiệm của bạn, không phải hạ tầng.

Chính sách của chúng tôi đơn giản. Chúng tôi chạy tư thế vận hành offshore, chỉ theo lệnh tòa án: các khiếu nại thường lệ được xử lý theo chính sách thay vì gỡ xuống tự động, và chúng tôi hành động theo lệnh tòa án hợp lệ trong khu vực pháp lý của máy chủ. Đó là chính sách vận hành, không phải miễn trừ pháp lý — chúng tôi không bao giờ tuyên bố máy chủ không thể bị xử lý. Cũng có ngưỡng cứng áp dụng cho mọi tài khoản không có ngoại lệ: không CSAM, không buôn bán vũ khí, không khủng bố. Đọc toàn bộ chính sách sử dụng chấp nhận được trước khi bạn mở rộng crawl.

Đối với hầu hết dự án scraping, lựa chọn đơn giản. Crawler chỉ văn bản chạy vui vẻ trên Cub hoặc Scout; bất cứ thứ gì điều khiển trình duyệt headless muốn Runner hoặc Hunter cho RAM và vCPU mà Chromium đòi hỏi; các công việc song song lớn mở rộng vào Alpha và trên. Mọi gói đều là KVM all-NVMe với IP riêng sạch và băng thông không giới hạn, nên crawl nặng không bao giờ gặp giới hạn băng thông, và bạn có thể thay đổi kích thước khi khối lượng công việc tăng.

Triển khai mất khoảng 60 giây sau khi thanh toán xác nhận, không có phí cài đặt và giá hàng tháng rõ ràng — trả trước hàng năm tặng bạn hai tháng miễn phí. Thanh toán bằng Monero, BTC, ETH, LTC, USDT hoặc USDC-on-Base; chúng tôi là no-KYC, nên không có ID và không có tải tài liệu, chỉ cần email để giao thông tin đăng nhập. Điều đó làm cho bạn riêng tư, không phải ẩn danh: tính ẩn danh thực sự cũng phụ thuộc vào vệ sinh thanh toán và mạng của bạn, bao gồm nơi bạn nạp tiền vào ví bạn dùng để thanh toán.