Hébergement pour le scraping web
Réponse
L'infrastructure de scraping a besoin d'adresses qui ne sont pas déjà bloquées et de capacité pour exécuter des navigateurs sans tête. Incognito VPS alloue des adresses IPv4 propres, vérifiées contre plus de 60 listes noires, vend des adresses supplémentaires à 2,50 $ par mois depuis des /24 séparés, et n'exige pas de vérification d'identité.
| Scénario | Minimum |
|---|---|
| Scraping HTTP | 2 vCPU, 4 Go de RAM |
| Navigateurs sans tête (5–10) | 6 vCPU, 16 Go de RAM |
| Grand crawl + parsing | 16 vCPU, 64 Go de RAM |
| Diversité d'adresses | 2,50 $/mois par IPv4 supplémentaire |
La réputation de l'adresse décide du succès
La plupart des systèmes anti-bot vérifient l'adresse avant tout. Les plages appartenant à des clouds bien connus sont pré-classées comme trafic de datacentre et sont traitées par défaut avec suspicion ; les plages ayant un historique d'abus sont simplement bloquées.
Notre pool IPv4 est vérifié contre plus de soixante listes noires à l'allocation et toutes les six heures ensuite, et la politique d'utilisation acceptable qui retire les clients abusifs est ce qui le maintient dans cet état. Les adresses supplémentaires proviennent de /24 séparés afin qu'un seul bloc ne fasse pas tomber tout votre pool.
Dimensionnement pour les navigateurs sans tête
Le scraping HTTP simple est peu coûteux : un petit VPS saturera son réseau bien avant son CPU. Chrome sans tête, c'est l'inverse : chaque instance veut environ 300 à 500 Mo de RAM et une part significative d'un cœur, donc la concurrence est limitée par la mémoire.
Dix instances Chrome concurrentes sont confortables sur 16 Go. Si vous utilisez Playwright ou Puppeteer à grande échelle, prévoyez d'abord la mémoire, puis les cœurs.
Faites-le correctement
Respectez robots.txt, limitez votre débit, identifiez votre robot dans le user agent avec une adresse de contact, et mettez en cache agressivement afin de ne pas récupérer ce que vous avez déjà. Ce n'est pas une leçon de morale, c'est ainsi que vous évitez d'être bloqué, et les opérateurs qui se font bloquer sont ceux qui martèlent.
Notre politique d'utilisation acceptable interdit le credential stuffing, le scraping derrière une authentification que vous n'êtes pas autorisé à détenir, et la collecte de données personnelles en violation de la loi applicable. La collecte ordinaire de données sur le web public est autorisée et l'a toujours été.
Questions fréquentes
01 Vos IP sont-elles bloquées par les services anti-bot ?
Nos plages ne figurent pas sur les listes noires d'abus, ce qui est le principal facteur que vous contrôlez. Toute plage de datacentre peut encore être classée comme trafic de datacentre par un système anti-bot sophistiqué — cela est inhérent à l'hébergement, pas spécifique à nous.
02 Puis-je obtenir plusieurs adresses IP ?
Oui, 2,50 $/mois chacune, jusqu'à seize par serveur, allouées à partir de /24 séparés afin qu'un seul bloc ne fasse pas tomber tout votre pool. Aucun formulaire de justification.
03 Quel plan pour les navigateurs sans tête ?
BASTION (6 vCPU, 16 Go) fait tourner environ dix instances Chrome concurrentes. Chaque instance veut 300 à 500 Mo, donc la mémoire est la contrainte principale, pas les cœurs.
04 Le scraping est-il autorisé par votre AUP ?
La collecte de données sur le web public est autorisée. Le credential stuffing, l'accès à des données derrière une authentification que vous n'êtes pas autorisé à détenir, et la collecte de données personnelles en violation de la loi applicable ne le sont pas.
Liés