Hosting für Web Scraping
Antwort
Scraping-Infrastruktur benötigt Adressen, die nicht bereits blockiert sind, sowie Kapazität für Headless-Browser. Incognito VPS vergibt aus sauberen IPv4-Pools, die gegen über 60 Blocklisten geprüft werden, verkauft zusätzliche Adressen für 2,50 $ pro Monat aus separaten /24-Netzen und verlangt keine Identitätsprüfung.
| Szenario | Minimum |
|---|---|
| HTTP-Scraping | 2 vCPU, 4 GB RAM |
| Headless-Browser (5–10) | 6 vCPU, 16 GB RAM |
| Großer Crawl + Parsing | 16 vCPU, 64 GB RAM |
| Adressvielfalt | 2,50 $/Monat pro zusätzlicher IPv4 |
Die Reputation der Adresse entscheidet
Die meisten Anti-Bot-Systeme prüfen die Adresse, bevor sie etwas anderes prüfen. Bereiche bekannter Cloud-Anbieter sind als Rechenzentrumsverkehr vorklassifiziert und werden standardmäßig misstrauisch behandelt; Bereiche mit Missbrauchshistorie sind schlicht blockiert.
Unser IPv4-Pool wird bei der Zuweisung und danach alle sechs Stunden gegen über sechzig Blocklisten geprüft, und die Nutzungsrichtlinie, die missbräuchliche Kunden entfernt, hält ihn sauber. Zusätzliche Adressen stammen aus separaten /24-Netzen, sodass ein einzelner Block nicht Ihren gesamten Pool lahmlegt.
Bemessung für Headless-Browser
Reines HTTP-Scraping ist günstig – ein kleiner VPS erreicht schnell seine Netzwerkgrenze, bevor die CPU ausgelastet ist. Headless Chrome ist das Gegenteil: Jede Instanz benötigt etwa 300 bis 500 MB RAM und einen ordentlichen Teil eines Kerns, sodass die Parallelität durch den Speicher begrenzt wird.
Zehn parallele Chrome-Instanzen sind bei 16 GB komfortabel. Wenn Sie Playwright oder Puppeteer in großem Umfang nutzen, planen Sie zuerst den Speicher ein und dann die Kerne.
Machen Sie es richtig
Respektieren Sie robots.txt, begrenzen Sie Ihre Anfragen, identifizieren Sie Ihren Crawler im User-Agent mit einer Kontaktadresse und cachen Sie aggressiv, damit Sie nicht erneut abrufen, was Sie bereits haben. Das ist keine Moralpredigt – es ist der Weg, Blockaden zu vermeiden, und wer blockiert wird, ist der, der zu viel verlangt.
Unsere Nutzungsrichtlinie verbietet Credential Stuffing, das Scrapen hinter einer Authentifizierung, für die Sie nicht autorisiert sind, sowie die Erhebung personenbezogener Daten unter Verstoß gegen geltendes Recht. Gewöhnliche Datensammlung aus dem öffentlichen Web ist erlaubt und war es immer.
Häufig gestellte Fragen
01 Sind Ihre IPs von Anti-Bot-Diensten blockiert?
Unsere Bereiche stehen nicht auf Missbrauchs-Blocklisten, das ist der wichtigste Faktor, den Sie kontrollieren können. Jeder Rechenzentrumsbereich kann von einem ausgefeilten Anti-Bot-System dennoch als Rechenzentrumsverkehr eingestuft werden – das ist dem Hosting inhärent, nicht spezifisch für uns.
02 Kann ich mehrere IP-Adressen bekommen?
Ja, 2,50 $/Monat pro Stück, bis zu sechzehn pro Server, verteilt auf separate /24-Netze, sodass ein Block nicht Ihren gesamten Pool lahmlegt. Kein Rechtfertigungsformular.
03 Welcher Tarif für Headless-Browser?
BASTION (6 vCPU, 16 GB) betreibt etwa zehn parallele Chrome-Instanzen. Jede Instanz benötigt 300–500 MB, daher ist der Speicher der begrenzende Faktor, nicht die Kerne.
04 Ist Scraping unter Ihrer AUP erlaubt?
Datensammlung aus dem öffentlichen Web ist erlaubt. Credential Stuffing, Zugriff auf Daten hinter einer Authentifizierung, für die Sie nicht autorisiert sind, und die Erhebung personenbezogener Daten unter Verstoß gegen geltendes Recht sind nicht erlaubt.
Verwandte Themen