ترافیک ربات‌ها زیاد شده؛ چطور قبل از مسدودسازی آن‌ها را بشناسیم؟

مصرف سایت بالا رفته و در گزارش دسترسی درخواست‌های زیادی می‌بینید. شاید بخشی از آن‌ها از ربات باشند، اما نام User-Agent به‌تنهایی هویت را ثابت نمی‌کند؛ هر برنامه‌ای می‌تواند خود را Googlebot معرفی کند. پیش از مسدودسازی، رفتار و منشأ درخواست را دقیق‌تر ببینید.

زمان بالا رفتن مصرف را با گزارش وب‌سرور، CDN یا کنترل‌پنل مقایسه کنید. تعداد درخواست در دقیقه، مسیرهای پرکاربرد و کدهای پاسخ را برای همان بازه یادداشت کنید. تعداد زیاد فایل تصویر همیشه به معنی حمله نیست؛ یک کاربر واقعی نیز ممکن است چندین فایل را در هر صفحه بخواهد.

اگر یک مسیر جست‌وجو یا صفحه سنگین مدام درخواست می‌شود، از مدیر فنی بخواهید تعداد، IP و الگوی درخواست را بدون انتشار اطلاعات شخصی بررسی کند. وجود کاربران پشت IP مشترک یا پراکسی نیز تصمیم‌گیری صرفاً بر اساس یک IP را دشوار می‌کند.

اگر درخواست ادعای Googlebot دارد، مسئول سرور می‌تواند طبق راهنمای رسمی گوگل IP را با محدوده‌های اعلام‌شده گوگل تطبیق دهد یا reverse DNS و سپس تبدیل نام به IP را بررسی کند. فقط وجود کلمه Googlebot در User-Agent کافی نیست.

این تأیید برای هر خزنده روش خودش را دارد. اگر داده لاگ از پشت CDN است، ابتدا مطمئن شوید نشانی ثبت‌شده واقعاً IP مراجعه‌کننده است و هدر فقط از پراکسی مورد اعتماد پذیرفته می‌شود. تصمیم بر اساس IP اشتباه ممکن است کاربران زیادی را مسدود کند.

یک مثال: اگر در گزارش یک IP با نام Googlebot دیده‌اید، نام اعلام‌شده را به‌تنهایی ملاک نگیرید. روش رسمی گوگل این است که ابتدا برای همان IP جست‌وجوی معکوس DNS انجام دهید و پس از بررسی پسوند مجاز، نام به‌دست‌آمده را دوباره به IP تبدیل کنید؛ IP اولیه باید در پاسخ دوم هم دیده شود. گوگل همچنین فهرست محدوده‌های IP خود را منتشر می‌کند. اگر این مراحل را بلد نیستید، زمان و IP را از مسیر امن به مدیر سرور بدهید و صریحاً تأیید دوطرفه را بخواهید؛ نوشتن نام گوگل داخل یک دامنه ساختگی، تأیید هویت نیست.

اگر لینوکس و ابزار dig در اختیار دارید، می‌توانید از نشانی نمونه زیر استفاده کنید و به‌جای آن IP واقعی ثبت‌شده در گزارش را بگذارید:

عدد بالا فقط مثال است و به گوگل نسبت داده نشده است. برای Googlebot معمولی، نام معکوس طبق راهنمای گوگل باید به googlebot.com یا geo.googlebot.com ختم شود. دقت کنید googlebot.com.example.org به example.org ختم می‌شود و معتبر نیست. اگر نام با پسوند مجاز برگشت، همان نام را در فرمان dig زیر جایگزین کنید:

برای IP نسخه ۶ نوع رکورد را به AAAA تغییر دهید. در پاسخ دوم باید IP اولیه نیز وجود داشته باشد. اگر نام معتبر برنگشت یا IPها تطبیق نداشتند، آن درخواست را صرفاً بر اساس User-Agent به گوگل نسبت ندهید. این آزمون مجوز مسدودکردن فوری را هم ثابت نمی‌کند؛ ممکن است گزارش IP واقعی کاربر را نشان ندهد یا DNS در لحظه خطا داشته باشد.

پس از شناسایی الگو، درباره محدودکردن نرخ روی همان مسیر یا قانون متناسب با ابزار امنیتی با مدیر فنی تصمیم بگیرید. ابتدا قانون را در حالت گزارش یا روی محدوده آزمایشی بررسی کنید، اگر ابزار چنین امکانی دارد. پیش از فعال‌سازی، قانون قبلی و روش بازگشت را یادداشت کنید.

بعد از تغییر، ورود، جست‌وجو، پرداخت و پاسخ به خزنده‌های تأییدشده را کنترل کنید. کاهش مصرف مهم است، اما باید خطاهای کاربران واقعی نیز کاهش یافته یا ثابت مانده باشد. اگر ترافیک نامطلوب ادامه دارد، زمان و نمونه درخواست را برای میزبان ارسال کنید.

فایل robots.txt دستور کنترل خزیدن است و همه ربات‌های متخلف الزاماً از آن پیروی نمی‌کنند؛ همچنین جای کنترل دسترسی واقعی اطلاعات خصوصی را نمی‌گیرد. برای نیازهای ظرفیت فروشگاه، هاست پربازدید قابل بررسی است.