Hospedagem para web scraping
Resposta
Infraestrutura de scraping precisa de endereços que não estejam bloqueados e capacidade para executar navegadores headless. A Incognito VPS aloca de pools de IPv4 limpos verificados em mais de 60 listas de bloqueio, vende endereços adicionais por US$ 2,50 por mês, de /24 separados, e não exige verificação de identidade.
| Cenário | Mínimo |
|---|---|
| Scraping HTTP | 2 vCPU, 4 GB RAM |
| Navegadores headless (5–10) | 6 vCPU, 16 GB RAM |
| Crawl extenso + parsing | 16 vCPU, 64 GB RAM |
| Diversidade de endereços | US$ 2,50/mês por IPv4 extra |
A reputação do endereço decide se isso funciona
A maioria dos sistemas antibot verifica o endereço antes de qualquer outra coisa. Faixas pertencentes a clouds bem conhecidos são pré-classificadas como tráfego de datacenter e tratadas com suspeita por padrão; faixas com histórico de abuso são simplesmente bloqueadas.
Nosso pool de IPv4 é verificado em mais de sessenta listas de bloqueio na alocação e a cada seis horas depois; a política de uso aceitável que remove clientes abusivos é o que o mantém assim. Endereços adicionais vêm de /24 separados para que um único bloco não derrube todo o seu pool.
Dimensionamento para navegadores headless
Scraping HTTP simples é barato — um pequeno VPS satura sua rede antes da CPU. Chrome headless é o oposto: cada instância quer cerca de 300 a 500 MB de RAM e uma parcela significativa de um núcleo, então a concorrência é limitada pela memória.
Dez instâncias Chrome concorrentes é confortável com 16 GB. Se você usa Playwright ou Puppeteer em escala, planeje memória primeiro e núcleos depois.
Faça do jeito certo
Respeite robots.txt, limite sua taxa, identifique seu crawler no user agent com um endereço de contato e cacheie agressivamente para não buscar novamente o que você já tem. Isso não é moralismo — é como você evita ser bloqueado; os operadores que são bloqueados são os que martelam.
Nossa política de uso aceitável proíbe credential stuffing, scraping atrás de autenticação que você não está autorizado a ter e coleta de dados pessoais em violação da lei aplicável. Coleta de dados na web pública é permitida e sempre foi.
Perguntas frequentes
01 Os seus IPs são bloqueados por serviços antibot?
Nossas faixas não estão em listas de bloqueio por abuso, que é a principal coisa que você controla. Qualquer faixa de datacenter ainda pode ser classificada como tráfego de datacenter por um sistema antibot sofisticado — isso é inerente à hospedagem, não específico de nós.
02 Posso obter vários endereços IP?
Sim, US$ 2,50/mês cada, até dezesseis por servidor, alocados de /24 separados para que um bloco não derrube todo o seu pool. Sem formulário de justificativa.
03 Qual plano usar para navegadores headless?
BASTION (6 vCPU, 16 GB) roda cerca de dez instâncias Chrome concorrentes. Cada instância quer 300–500 MB, então a memória é a restrição limitante, não os núcleos.
04 Scraping é permitido pela sua AUP?
Coleta de dados na web pública é permitida. Credential stuffing, acesso a dados atrás de autenticação que você não está autorizado a ter e coleta de dados pessoais em violação da lei aplicável não são.
Relacionados