Web kazıma hosting
Cevap
Kazıma altyapısı, henüz engellenmemiş adreslere ve başsız tarayıcıları çalıştırma kapasitesine ihtiyaç duyar. Incognito VPS, 60'tan fazla kara listeye karşı kontrol edilen temiz IPv4 havuzlarından tahsis yapar, ayrı adresleri ayrı /24'lerden aylık 2,50$'a satar ve kimlik doğrulaması gerektirmez.
| Senaryo | Minimum |
|---|---|
| HTTP kazıma | 2 vCPU, 4 GB RAM |
| Başsız tarayıcılar (5–10) | 6 vCPU, 16 GB RAM |
| Büyük tarama + ayrıştırma | 16 vCPU, 64 GB RAM |
| Adres çeşitliliği | Ek IPv4 başına aylık 2,50$ |
Adres itibarı bunun çalışıp çalışmayacağını belirler
Çoğu bot karşıtı sistem, başka bir şeyi kontrol etmeden önce adresi kontrol eder. Tanınmış bulut sağlayıcılarına ait aralıklar önceden veri merkezi trafiği olarak sınıflandırılır ve varsayılan olarak şüpheyle karşılanır; istismar geçmişi olan aralıklar ise doğrudan engellenir.
IPv4 havuzumuz, tahsis sırasında ve sonrasında her altı saatte bir altmıştan fazla kara listeye karşı kontrol edilir ve kötüye kullanan müşterileri kaldıran kabul edilebilir kullanım politikamız onu bu şekilde tutar. Ek adresler ayrı /24'lerden gelir, böylece tek bir blok tüm havuzunuzu etkisiz hale getirmez.
Başsız tarayıcılar için boyutlandırma
Düz HTTP kazıma ucuzdur — küçük bir VPS, CPU'sundan çok önce ağını doyurur. Başsız Chrome bunun tam tersidir: her örnek yaklaşık 300 ila 500 MB RAM ve bir çekirdeğin anlamlı bir payını ister, bu nedenle eşzamanlılık bellek tarafından sınırlanır.
16 GB'de on eşzamanlı Chrome örneği rahatça çalışır. Playwright veya Puppeteer'ı ölçekte çalıştırıyorsanız, önce bellek, sonra çekirdek bütçesi ayırın.
Doğru şekilde yapın
robots.txt'ye saygı gösterin, kendinizi sınırlayın, tarayıcınızı kullanıcı aracısında bir iletişim adresiyle tanımlayın ve zaten sahip olduklarınızı yeniden getirmemek için agresif bir şekilde önbelleğe alın. Bu ahlak dersi değil — engellenmekten kaçınmanın yoludur ve engellenen operatörler, aşırı yüklenenlerdir.
Kabul edilebilir kullanım politikamız, kimlik bilgisi doldurma, yetkili olmadığınız kimlik doğrulamasının arkasındaki verileri kazıma ve yürürlükteki yasayı ihlal ederek kişisel veri toplamayı yasaklar. Sıradan genel web veri toplama her zaman olduğu gibi sorunsuzdur.
Sık sorulan sorular
01 IP'leriniz bot karşıtı hizmetler tarafından engelleniyor mu?
Aralıklarımız istismar kara listelerinde değildir; bu kontrol edebileceğiniz ana faktördür. Herhangi bir veri merkezi aralığı, sofistike bir bot karşıtı sistem tarafından veri merkezi trafiği olarak sınıflandırılabilir — bu hosting'in doğasında vardır, bize özgü değildir.
02 Birden fazla IP adresi alabilir miyim?
Evet, her biri aylık 2,50$, sunucu başına en fazla on altı, ayrı /24'lerden tahsis edilir, böylece tek bir blok tüm havuzunuzu etkisiz hale getirmez. Gerekçe formu yok.
03 Başsız tarayıcılar için hangi plan?
BASTION (6 vCPU, 16 GB) yaklaşık on eşzamanlı Chrome örneği çalıştırır. Her örnek 300–500 MB ister, bu nedenle sınırlayıcı faktör çekirdekler değil bellektir.
04 AUP kapsamında kazıma yapılmasına izin veriliyor mu?
Genel web veri toplama sorunsuzdur. Kimlik bilgisi doldurma, yetkili olmadığınız kimlik doğrulamasının arkasındaki verilere erişme ve yürürlükteki yasayı ihlal ederek kişisel veri toplama yasaktır.
İlgili