Web scraping hosting
Odpowiedź
Infrastruktura do skrobania potrzebuje adresów, które nie są jeszcze zablokowane, oraz mocy do uruchamiania bezgłowych przeglądarek. Incognito VPS przydziela adresy z czystych pul IPv4, sprawdzanych pod kątem ponad 60 list blokad, sprzedaje dodatkowe adresy za 2,50 USD miesięcznie z oddzielnych /24 i nie wymaga weryfikacji tożsamości.
| Scenariusz | Minimum |
|---|---|
| HTTP scraping | 2 vCPU, 4 GB RAM |
| Headless browsers (5–10) | 6 vCPU, 16 GB RAM |
| Large crawl + parsing | 16 vCPU, 64 GB RAM |
| Address diversity | $2.50/mo per extra IPv4 |
Reputacja adresu decyduje, czy to zadziała
Większość systemów antybotowych sprawdza adres, zanim sprawdzi cokolwiek innego. Zakresy należące do znanych chmur są z góry klasyfikowane jako ruch z centrów danych i traktowane z podejrzliwością; zakresy z historią nadużyć są po prostu blokowane.
Nasza pula IPv4 jest sprawdzana na ponad sześćdziesięciu listach blokad przy przydzielaniu i co sześć godzin potem, a polityka dopuszczalnego użytkowania, która usuwa nadużywających klientów, właśnie o to dba. Dodatkowe adresy pochodzą z oddzielnych /24, więc jeden blok nie wyłącza całej puli.
Dobieranie rozmiaru dla bezgłowych przeglądarek
Zwykłe skrobanie HTTP jest tanie — mały VPS nasyci sieć, zanim nasyci CPU. Bezgłowy Chrome jest przeciwieństwem: każda instancja chce z grubsza 300–500 MB RAM i znaczną część rdzenia, więc równoczesność jest ograniczona przez pamięć.
Dziesięć równoczesnych instancji Chrome to komfort na 16 GB. Jeśli używasz Playwright lub Puppeteer na dużą skalę, zaplanuj najpierw pamięć, a potem rdzenie.
Do it properly
Szanuj robots.txt, ograniczaj własne żądania, identyfikuj robota w user agencie z adresem kontaktowym i cache'uj agresywnie, aby nie pobierać ponownie tego, co już masz. To nie moralizowanie — to sposób na uniknięcie blokad, a operatorzy, którzy zostają zablokowani, to ci, którzy atakują serwery.
Nasza polityka dopuszczalnego użytkowania zabrania credential stuffing, skrobania za uwierzytelnieniem, do którego nie masz uprawnień, oraz zbierania danych osobowych z naruszeniem obowiązującego prawa. Zwykłe zbieranie danych z publicznego internetu jest dozwolone i zawsze było.
Często zadawane pytania
01 Czy wasze adresy IP są blokowane przez usługi antybotowe?
Nasze zakresy nie znajdują się na listach blokad nadużyć, co jest główną rzeczą, którą kontrolujesz. Każdy zakres centrum danych może zostać sklasyfikowany jako ruch z centrum danych przez zaawansowany system antybotowy — to nieodłączne dla hostingu, a nie specyficzne dla nas.
02 Czy mogę uzyskać wiele adresów IP?
Tak, 2,50 USD/mies. za każdy, do szesnastu na serwer, przydzielane z oddzielnych /24, więc jeden blok nie wyłącza całej puli. Bez formularza uzasadnienia.
03 Jaki plan na bezgłowe przeglądarki?
BASTION (6 vCPU, 16 GB) obsłuży około dziesięciu równoczesnych instancji Chrome. Każda instancja potrzebuje 300–500 MB, więc pamięć jest czynnikiem ograniczającym, a nie rdzenie.
04 Czy skrobanie jest dozwolone w waszej polityce?
Zbieranie danych z publicznego internetu jest dozwolone. Credential stuffing, dostęp do danych za uwierzytelnieniem, do którego nie masz uprawnień, oraz zbieranie danych osobowych z naruszeniem prawa — nie.
Powiązane