Хостинг для веб-скрапінгу
Відповідь
Інфраструктура для скрапінгу потребує адрес, які ще не заблоковані, і можливості запускати безголові браузери. Incognito VPS виділяє адреси з чистих IPv4-пулів, перевірених за 60+ списками блокувань, продає додаткові адреси за $2.50 на місяць з окремих /24 і не вимагає підтвердження особи.
| Сценарій | Мінімум |
|---|---|
| HTTP-скрапінг | 2 vCPU, 4 ГБ RAM |
| Безголові браузери (5–10) | 6 vCPU, 16 ГБ RAM |
| Велике обходження + парсинг | 16 vCPU, 64 ГБ RAM |
| Різноманітність адрес | $2.50/міс за дод. IPv4 |
Репутація адреси вирішує, чи це працює
Більшість антибот-систем перевіряють адресу перед усім іншим. Діапазони відомих хмарних провайдерів заздалегідь класифікуються як дата-центровий трафік і за замовчуванням сприймаються з підозрою; діапазони з історією зловживань просто блокуються.
Наш IPv4-пул перевіряється за шістдесятьма з лишком списками блокувань при виділенні та кожні шість годин після, і політика прийнятного використання, яка видаляє зловживачів, підтримує це. Додаткові адреси надходять з окремих /24, щоб один блок не вивів з ладу весь ваш пул.
Розрахунок для безголових браузерів
Простий HTTP-скрапінг дешевий — невеликий VPS наситить свою мережу раніше, ніж CPU. Безголовий Chrome — протилежність: кожен екземпляр потребує приблизно 300–500 МБ RAM і значну частину ядра, тому одночасність обмежена пам'яттю.
Десять одночасних екземплярів Chrome комфортно вміщуються на 16 ГБ. Якщо ви запускаєте Playwright або Puppeteer у масштабі, спершу плануйте пам'ять, а потім ядра.
Робіть це правильно
Поважайте robots.txt, обмежуйте швидкість, вкажіть свій краулер в user agent із контактною адресою, і агресивно кешуйте, щоб не завантажувати повторно те, що вже маєте. Це не моралізаторство — це спосіб уникнути блокування, і блокують тих, хто молотить.
Наша політика прийнятного використання забороняє заповнення облікових даних, скрапінг за автентифікацією, на яку ви не уповноважені, та збір персональних даних із порушенням законодавства. Звичайний збір даних із публічного вебу — це нормально і завжди було.
Поширені запитання
01 Чи заблоковані ваші IP антибот-сервісами?
Наші діапазони не в чорних списках зловживань — це головне, що ви контролюєте. Будь-який дата-центровий діапазон може бути класифікований як дата-центровий трафік складною антибот-системою — це властиво хостингу, а не особливість нас.
02 Чи можу я отримати кілька IP-адрес?
Так, $2.50/міс кожна, до шістнадцяти на сервер, виділені з окремих /24, щоб один блок не вивів з ладу весь пул. Без форми обґрунтування.
03 Який тариф обрати для безголових браузерів?
BASTION (6 vCPU, 16 ГБ) запускає близько десяти одночасних екземплярів Chrome. Кожен потребує 300–500 МБ, тож пам'ять — обмежувальний фактор, а не ядра.
04 Чи дозволений скрапінг згідно з вашою AUP?
Збір даних із публічного вебу — це нормально. Заповнення облікових даних, доступ до даних за автентифікацією, на яку ви не уповноважені, та збір персональних даних із порушенням законодавства — ні.
Пов'язане