ウェブスクレイピングホスティング
回答
スクレイピングインフラには、ブロックされていないアドレスと、ヘッドレスブラウザを実行する容量が必要です。Incognito VPSは、60以上のブロックリストでチェックされたクリーンなIPv4プールからアドレスを割り当て、別の/24から追加アドレスを月額2.50ドルで提供し、本人確認は不要です。
| シナリオ | 最小 |
|---|---|
| HTTPスクレイピング | 2 vCPU、4 GB RAM |
| ヘッドレスブラウザ(5〜10) | 6 vCPU、16 GB RAM |
| 大規模クロール+解析 | 16 vCPU、64 GB RAM |
| アドレスの多様性 | 追加IPv4あたり月額2.50ドル |
アドレスの評判が成否を決める
ほとんどのアンチボットシステムは、他の何よりも先にアドレスを確認します。有名クラウドに属するレンジはデータセンターのトラフィックとして事前に分類され、デフォルトで疑われます。虐待の履歴があるレンジは単にブロックされます。
当社のIPv4プールは、割り当て時および6時間ごとに60以上のブロックリストでチェックされ、不正利用する顧客を排除する利用規定がその状態を維持しています。追加アドレスは別の/24から割り当てられるため、1つのブロックがプール全体を台無しにすることはありません。
ヘッドレスブラウザのサイジング
単純なHTTPスクレイピングは安価です。小さなVPSでもCPUよりも先にネットワークが飽和します。ヘッドレスChromeはその逆で、各インスタンスは約300〜500 MBのRAMとコアのかなりのシェアを必要とするため、同時実行数はメモリによって制限されます。
10の同時Chromeインスタンスは16GBで快適に動作します。PlaywrightやPuppeteerを大規模に実行する場合は、コアよりもまずメモリを計画してください。
適切に行う
robots.txtを尊重し、レート制限を設け、ユーザーエージェントに連絡先アドレスを記載してクローラーを特定し、既に取得したものを再取得しないように積極的にキャッシュしてください。これは説教ではなく、ブロックを回避する方法であり、ブロックされるのは過剰にアクセスする運用者です。
当社の利用規定は、クレデンシャルスタッフィング、許可なく認証されたデータへのスクレイピング、適用法に違反する個人データの収集を禁止しています。一般の公開ウェブデータ収集は問題なく、これまでも常に許可されています。
よくある質問
01 あなたのIPはアンチボットサービスによってブロックされていますか?
当社のレンジは虐待ブロックリストに載っていません。これは自分で制御できる主なものです。高度なアンチボットシステムは、どんなデータセンターのレンジでもデータセンタートラフィックとして分類する可能性があります。これはホスティングに固有のことであり、当社に固有のことではありません。
02 複数のIPアドレスを取得できますか?
はい、各月額2.50ドルで、サーバーごとに最大16個まで、別の/24から割り当てられるため、1つのブロックがプール全体を台無しにすることはありません。理由書は不要です。
03 ヘッドレスブラウザにはどのプランが適していますか?
BASTION(6 vCPU、16 GB)は約10の同時Chromeインスタンスを実行できます。各インスタンスは300〜500 MBを必要とするため、コアではなくメモリが制約となります。
04 AUPの下でスクレイピングは許可されていますか?
公開ウェブデータの収集は問題ありません。クレデンシャルスタッフィング、許可なく認証されたデータへのアクセス、適用法に違反する個人データの収集は許可されていません。
関連