Web scraping hosting
Antwoord
Scraping-infrastructuur heeft adressen nodig die niet al geblokkeerd zijn en capaciteit om headless browsers te draaien. Incognito VPS deelt uit van schone IPv4-pools die gecontroleerd zijn tegen 60+ blocklists, verkoopt extra adressen voor $2,50 per maand uit aparte /24-subnetten en vereist geen identiteitsverificatie.
| Scenario | Minimum |
|---|---|
| HTTP-scraping | 2 vCPU, 4 GB RAM |
| Headless browsers (5–10) | 6 vCPU, 16 GB RAM |
| Grote crawl + parsing | 16 vCPU, 64 GB RAM |
| Adresdiversiteit | $2,50/mnd per extra IPv4 |
Adresreputatie bepaalt of dit werkt
De meeste anti-bot systemen controleren het adres voordat ze iets anders controleren. Bereiken van bekende clouds worden standaard geclassificeerd als datacentrumverkeer en standaard met argwaan behandeld; bereiken met een geschiedenis van misbruik worden simpelweg geblokkeerd.
Onze IPv4-pool wordt bij toewijzing en elke zes uur daarna gecontroleerd tegen meer dan zestig blocklists, en het acceptabele gebruik beleid dat misbruikende klanten verwijdert, zorgt ervoor dat dit zo blijft. Extra adressen komen uit aparte /24-subnetten, zodat een enkele blokkade niet uw hele pool uitschakelt.
Dimensionering voor headless browsers
Platte HTTP-scraping is goedkoop — een kleine VPS zal zijn netwerk verzadigen lang voordat zijn CPU. Headless Chrome is het tegenovergestelde: elke instantie wil ongeveer 300 tot 500 MB RAM en een behoorlijk deel van een kern, dus gelijktijdigheid wordt begrensd door geheugen.
Tien gelijktijdige Chrome-instanties is comfortabel op 16 GB. Als u Playwright of Puppeteer op schaal draait, begroot dan eerst geheugen en pas daarna kernen.
Doe het netjes
Respecteer robots.txt, beperk uw snelheid, identificeer uw crawler in de user agent met een contactadres en cache agressief, zodat u niet opnieuw ophaalt wat u al heeft. Dit is geen moralisme — het is hoe u voorkomt dat u wordt geblokkeerd, en de operators die worden geblokkeerd zijn degenen die hameren.
Ons acceptabele gebruik beleid verbiedt credential stuffing, het scrapen achter authenticatie waarvoor u niet geautoriseerd bent, en het verzamelen van persoonlijke gegevens in strijd met de toepasselijke wetgeving. Gewone verzameling van publieke webgegevens is prima en is dat altijd geweest.
Veelgestelde vragen
01 Zijn uw IP's geblokkeerd door anti-bot diensten?
Onze bereiken staan niet op misbruik-blocklists, dat is het belangrijkste dat u onder controle heeft. Elk datacentrumbereik kan nog steeds als datacentrumverkeer worden geclassificeerd door een geavanceerd anti-bot systeem — dat is inherent aan hosting, niet specifiek voor ons.
02 Kan ik meerdere IP-adressen krijgen?
Ja, $2,50/maand elk, maximaal zestien per server, toegewezen uit aparte /24-subnetten zodat één blokkade niet uw hele pool uitschakelt. Geen rechtvaardigingsformulier.
03 Welk plan voor headless browsers?
BASTION (6 vCPU, 16 GB) draait ongeveer tien gelijktijdige Chrome-instanties. Elke instantie wil 300–500 MB, dus geheugen is de beperkende factor, niet kernen.
04 Is scrapen toegestaan onder uw AUP?
Verzameling van publieke webgegevens is prima. Credential stuffing, toegang tot gegevens achter authenticatie waarvoor u niet geautoriseerd bent, en het verzamelen van persoonlijke gegevens in strijd met de toepasselijke wetgeving zijn dat niet.
Gerelateerd