میزبانی وباسکرپینگ
پاسخ
زیرساخت اسکرپینگ به آدرسهایی نیاز دارد که از قبل مسدود نشده باشند و ظرفیت اجرای مرورگرهای بدون سرصفحه را داشته باشد. Incognito VPS از استخرهای IPv4 تمیز که در برابر بیش از ۶۰ لیست سیاه بررسی میشوند اختصاص میدهد، آدرسهای اضافی را با ۲.۵۰ دلار در ماه از /24های جداگانه میفروشد و نیازی به تأیید هویت ندارد.
| سناریو | حداقل |
|---|---|
| اسکرپینگ HTTP | 2 vCPU, 4 GB RAM |
| مرورگرهای بدون سرصفحه (5-10) | 6 vCPU, 16 GB RAM |
| خزش بزرگ + تجزیهوتحلیل | 16 vCPU, 64 GB RAM |
| تنوع آدرس | ۲.۵۰ دلار در ماه به ازای هر IPv4 اضافی |
اعتبار آدرس تعیین میکند که آیا این کار میکند یا نه
بیشتر سیستمهای ضدبات قبل از هر چیز آدرس را بررسی میکنند. محدودههای متعلق به ابرهای شناختهشده از قبل به عنوان ترافیک دیتاسنتر طبقهبندی میشوند و به طور پیشفرض با سوءظن رفتار میشوند؛ محدودههایی با سابقه سوءاستفاده به سادگی مسدود میشوند.
استخر IPv4 ما در زمان تخصیص و هر شش ساعت پس از آن در برابر بیش از شصت لیست سیاه بررسی میشود، و سیاست استفاده قابل قبول که مشتریان سوءاستفادهگر را حذف میکند، چیزی است که آن را به این شکل نگه میدارد. آدرسهای اضافی از /24های جداگانه تخصیص داده میشوند تا یک بلاک کل استخر شما را از کار نیندازد.
اندازهگیری برای مرورگرهای بدون سرصفحه
اسکرپینگ HTTP ساده ارزان است — یک VPS کوچک خیلی زودتر از CPU خود، شبکه را اشباع میکند. مرورگر بدون سرصفحه برعکس است: هر نمونه تقریباً ۳۰۰ تا ۵۰۰ مگابایت رم و سهم معناداری از یک هسته میخواهد، بنابراین همزمانی به حافظه محدود است.
ده نمونه همزمان Chrome روی ۱۶ گیگابایت راحت است. اگر در مقیاس Playwright یا Puppeteer اجرا میکنید، ابتدا حافظه را در نظر بگیرید و بعد هسته را.
این کار را درست انجام دهید
به robots.txt احترام بگذارید، محدودیت نرخ اعمال کنید، خزنده خود را در user agent با یک آدرس تماس شناسایی کنید و به طور فعال کش کنید تا چیزی را که از قبل دارید دوباره واکشی نکنید. این اخلاقورزی نیست — این راهی است که از مسدود شدن جلوگیری میکنید و آنهایی که مسدود میشوند کسانی هستند که بیرویه فشار میآورند.
سیاست استفاده قابل قبول ما پر کردن اعتبارنامه، اسکرپینگ پشت احراز هویتی که مجاز به نگهداشتن آن نیستید، و جمعآوری دادههای شخصی برخلاف قوانین قابل اجرا را ممنوع میکند. جمعآوری دادههای معمولی وب عمومی مجاز است و همیشه بوده است.
سوالات متداول
01 آیا IPهای شما توسط خدمات ضدبات مسدود شدهاند؟
محدودههای ما در لیست سیاه سوءاستفاده نیستند، که این اصلیترین چیزی است که شما کنترل میکنید. با این حال، هر محدوده دیتاسنتری میتواند توسط یک سیستم ضدبات پیچیده به عنوان ترافیک دیتاسنتر طبقهبندی شود — این ذاتی میزبانی است، نه مختص ما.
02 آیا میتوانم چند آدرس IP داشته باشم؟
بله، هر کدام ۲.۵۰ دلار در ماه، حداکثر شانزده آدرس در هر سرور، از /24های جداگانه تخصیص داده میشوند تا یک بلاک کل استخر شما را از کار نیندازد. بدون فرم توجیه.
03 کدام طرح برای مرورگرهای بدون سرصفحه مناسب است؟
BASTION (6 vCPU, 16 GB) حدود ده نمونه همزمان Chrome را اجرا میکند. هر نمونه ۳۰۰ تا ۵۰۰ مگابایت نیاز دارد، بنابراین حافظه محدودیت اصلی است، نه هسته.
04 آیا اسکرپینگ طبق AUP شما مجاز است؟
جمعآوری دادههای وب عمومی مجاز است. پر کردن اعتبارنامه، دسترسی به دادههای پشت احراز هویتی که برای آن مجاز نیستید، و جمعآوری دادههای شخصی برخلاف قوانین قابل اجرا مجاز نیست.
مرتبط