网络爬虫托管
回答
爬虫基础设施需要未被屏蔽的地址以及运行无头浏览器的容量。Incognito VPS 从经过 60 多个黑名单检查的干净 IPv4 池中分配地址,以每月 2.50 美元的价格从不同的 /24 段销售额外地址,并且不要求身份验证。
| 场景 | 最低 |
|---|---|
| HTTP 抓取 | 2 vCPU,4 GB RAM |
| 无头浏览器(5–10) | 6 vCPU,16 GB RAM |
| 大型爬虫和解析 | 16 vCPU,64 GB RAM |
| 地址多样性 | 每个额外 IPv4 每月 2.50 美元 |
地址信誉决定成败
大多数反爬虫系统会先检查地址,再检查其他内容。知名云提供商的 IP 段被预先标记为数据中心流量,默认受到怀疑;有滥用历史的地址段则直接被屏蔽。
我们的 IPv4 池在分配时以及此后每六小时都会对照 60 多个黑名单进行检查,同时,移除滥用客户的可接受使用政策保证了池子的干净。额外地址来自独立的 /24 段,这样单个地址段不会导致整个池子失效。
为无头浏览器规划规模
纯 HTTP 抓取很便宜——小型 VPS 能先达到网络瓶颈,远超 CPU 瓶颈。无头 Chrome 则相反:每个实例大约需要 300 到 500 MB 内存和一定份额的核心,因此并发受内存限制。
16 GB 内存可以轻松运行十个并发 Chrome 实例。如果您大规模运行 Playwright 或 Puppeteer,请优先考虑内存,其次才是核心数。
合规操作
请遵守 robots.txt,限制请求速率,在用户代理中标识您的爬虫并提供联系方式,并积极进行缓存,避免重复抓取。这不是道德说教——这是避免被屏蔽的方法,而常常被屏蔽的运营商往往是那些猛烈抓取的。
我们的可接受使用政策禁止凭据填充、未经授权访问需要身份验证的数据,以及违反适用法律收集个人数据。普通的公共网页数据收集始终是允许的。
常见问题
01 你们的 IP 会被反爬虫服务屏蔽吗?
我们的地址段不在滥用黑名单上,这是您能控制的主要因素。任何数据中心地址段都可能被复杂的反爬虫系统归类为数据中心流量——这是托管的固有特性,并非我们独有。
02 我可以获得多个 IP 地址吗?
可以,每个每月 2.50 美元,最多每个服务器 16 个,从独立的 /24 段分配,这样单个地址段不会导致整个池子失效。无需填写理由表格。
03 哪个计划适合无头浏览器?
BASTION(6 vCPU,16 GB)可以运行大约十个并发 Chrome 实例。每个实例需要 300–500 MB 内存,因此内存才是瓶颈,而非核心数。
04 根据您的 AUP,允许爬虫吗?
公共网页数据收集是允许的。凭据填充、未经授权访问需要身份验证的数据,以及违反适用法律收集个人数据则不被允许。
相关