Хостинг для веб-скрейпинга
Ответ
Инфраструктура для скрейпинга нуждается в адресах, которые еще не заблокированы, и в возможности запускать браузеры с графическим интерфейсом. Incognito VPS выделяет адреса из чистых пулов IPv4, проверяемых по 60+ черным спискам, продает дополнительные адреса по $2.50 в месяц из отдельных /24 и не требует проверки личности.
| Сценарий | Минимум |
|---|---|
| HTTP-скрейпинг | 2 vCPU, 4 ГБ RAM |
| Браузеры без графического интерфейса (5–10) | 6 vCPU, 16 ГБ RAM |
| Крупный обход + парсинг | 16 vCPU, 64 ГБ RAM |
| Разнообразие адресов | $2.50/мес за доп. IPv4 |
Репутация адреса решает, работает ли это
Большинство антибот-систем сначала проверяют адрес, а потом все остальное. Диапазоны, принадлежащие известным облакам, заранее классифицируются как трафик дата-центров и по умолчанию вызывают подозрение; диапазоны с историей злоупотреблений просто блокируются.
Наш пул IPv4 проверяется по более чем шестидесяти черным спискам при выделении и каждые шесть часов после; политика допустимого использования, исключающая злоупотребляющих клиентов, поддерживает его в таком состоянии. Дополнительные адреса выделяются из отдельных /24, чтобы один блок не вывел из строя весь пул.
Расчет размеров для браузеров без графического интерфейса
Простой HTTP-скрейпинг дешев — небольшой VPS насытит свою сеть раньше, чем загрузит CPU. Headless Chrome — противоположность: каждый экземпляр требует примерно 300–500 МБ ОЗУ и заметную долю ядра, так что параллелизм ограничен памятью.
Десять одновременных экземпляров Chrome комфортно размещаются на 16 ГБ. Если вы используете Playwright или Puppeteer в масштабе, в первую очередь рассчитывайте память, а потом ядра.
Делайте это правильно
Уважайте robots.txt, ограничивайте частоту запросов, идентифицируйте свой краулер в user agent с контактным адресом и агрессивно кэшируйте, чтобы не перезагружать то, что у вас уже есть. Это не морализаторство — это способ избежать блокировки; операторы, которых блокируют, — это те, кто долбит.
Наша политика допустимого использования запрещает подбор учетных данных, скрейпинг за аутентификацией, на которую вы не авторизованы, и сбор личных данных в нарушение применимого законодательства. Обычный сбор данных из публичного веба разрешен и всегда был разрешен.
Часто задаваемые вопросы
01 Заблокированы ли ваши IP-адреса антибот-сервисами?
Наши диапазоны не в черных списках злоупотреблений, что и является главным, чем вы управляете. Любой диапазон дата-центра может быть классифицирован как трафик дата-центра sophisticated антибот-системой — это присуще хостингу, а не специфично для нас.
02 Могу ли я получить несколько IP-адресов?
Да, по $2.50/мес каждый, до шестнадцати на сервер, выделяются из отдельных /24, чтобы один блок не вывел из строя весь пул. Никакой формы обоснования.
03 Какой план для браузеров без графического интерфейса?
BASTION (6 vCPU, 16 ГБ) запускает около десяти одновременных экземпляров Chrome. Каждый экземпляр требует 300–500 МБ, так что память — ограничивающий фактор, а не ядра.
04 Разрешен ли скрейпинг согласно вашей AUP?
Сбор данных из публичного веба разрешен. Подбор учетных данных, доступ к данным за аутентификацией, на которую вы не авторизованы, и сбор личных данных в нарушение закона — нет.
Похожее