網頁爬蟲主機
回答
爬蟲基礎設施需要未被封鎖的位址,以及足以執行無頭瀏覽器的容量。Incognito VPS 從已檢查超過 60 個封鎖清單的乾淨 IPv4 集區分配位址,以每月 2.50 美元從不同的 /24 區段販售額外位址,且不要求身份驗證。
| 情境 | 最低 |
|---|---|
| HTTP 爬蟲 | 2 vCPU、4 GB RAM |
| 無頭瀏覽器(5–10 個) | 6 vCPU、16 GB RAM |
| 大型爬取與解析 | 16 vCPU、64 GB RAM |
| 位址多樣性 | 每個額外 IPv4 每月 2.50 美元 |
位址聲譽決定成敗
大多數反機器人系統會先檢查位址,再檢查其他東西。知名雲端業者的網段會被預先分類為資料中心流量,並預設受到懷疑;有濫用紀錄的網段則直接封鎖。
我們的 IPv4 集區在分配時及之後每六小時,都會對超過六十個封鎖清單進行檢查;而移除濫用客戶的可接受使用政策,正是維持清潔的關鍵。額外位址來自不同的 /24,因此單一網段不會拖垮整個集區。
無頭瀏覽器的容量規劃
純 HTTP 爬蟲很便宜——小型 VPS 會先達到網路飽和,而非 CPU。無頭 Chrome 則相反:每個實例大約需要 300 至 500 MB 記憶體,以及相當比例的核心,因此並行數受記憶體限制。
16 GB 記憶體可輕鬆應付十個並行 Chrome 實例。若您大規模執行 Playwright 或 Puppeteer,請優先規劃記憶體,其次才是核心。
正確的做法
尊重 robots.txt、自我限制請求頻率、在使用者代理程式中標示您的爬蟲並附上聯絡方式,並積極使用快取,避免重複抓取已有的資料。這不是道德說教——這是避免被封鎖的方法,而被封鎖的往往是那些猛烈請求的操作者。
我們的可接受使用政策禁止憑證填充、未經授權存取需登入的資料,以及違反適用法律收集個人資料。一般的公開網路資料收集完全沒問題,向來如此。
常見問題
01 您的 IP 會被反機器人服務封鎖嗎?
我們的網段不在濫用封鎖清單上,這是您能控制的主要項目。任何資料中心網段仍可能被精密的反機器人系統分類為資料中心流量——這是主機服務的固有特性,並非我們特有。
02 我可以取得多個 IP 位址嗎?
可以,每個每月 2.50 美元,每台伺服器最多十六個,從不同的 /24 分配,因此單一網段不會拖垮整個集區。無需填寫理由表單。
03 無頭瀏覽器該選哪個方案?
BASTION(6 vCPU、16 GB)可執行約十個並行 Chrome 實例。每個實例需要 300–500 MB,因此記憶體是限制因素,而非核心。
04 根據您的 AUP,允許爬蟲嗎?
公開網路資料收集沒問題。憑證填充、未經授權存取需登入的資料,以及違反適用法律收集個人資料則不被允許。
相關