ربات‌ها و چالش‌ها

همه‌ی ترافیک خودکار بد نیست. موتورهای جستجو باید سایت شما را بخزند؛ خزنده‌های هوش مصنوعی ممکن است خوشایند باشند یا نباشند؛ اسکرپرها و اسکنرها معمولاً نه. nsin سه ابزار برای این کار دارد که خوب با هم کار می‌کنند.

ابزار	کاربرد
قوانین ربات	ربات‌های شناخته‌شده — موتورهای جستجو، خزنده‌های هوش مصنوعی، ابزارهای سئو.
چالش (CAPTCHA)	ترافیکی که مطمئن نیستید: بگذارید ثابت کند انسان است.
قوانین اثر انگشت	ترافیک خودکاری که درباره‌ی هویت خود دروغ می‌گوید.

قوانین ربات

قانون ربات، ربات‌های مشخصی را که لبه‌ی nsin می‌شناسد تطبیق می‌دهد و تعیین می‌کند چه اتفاقی برای‌شان بیفتد.

1. به قوانین ← افزودن قانون ← ربات‌ها بروید.
2. ربات‌های تحت پوشش را انتخاب کنید — خزنده‌های موتور جستجو (Googlebot، Bingbot، …)، خزنده‌های هوش مصنوعی (GPTBot، ClaudeBot، PerplexityBot، …)، ابزارهای سئو (AhrefsBot، SemrushBot، …) یا هر رباتی.
3. عمل را انتخاب کنید:
   • مسدودسازی — درخواست رد شود.
   • محتوای متفاوت — به‌جای مراجعه به سرور شما، پاسخ خودتان (مثلاً یک صفحه‌ی متنی کوتاه) برگردانده شود.
   • ارسال به سرور دیگر — ربات به مبدأ دیگری پراکسی شود تا خزیدن سنگین به سرور اصلی نخورد.
   • فقط برچسب‌زدن — عبور کند اما در آمار علامت بخورد تا ببینید چه سهمی از ترافیک شماست.
4. ذخیره کنید.

فقط ربات‌های تأییدشده

هرکسی می‌تواند ادعا کند Googlebot است — این فقط یک خط متن در درخواست است. گزینه‌ی فقط تأییدشده را روشن کنید تا قانون تنها ربات‌هایی را بگیرد که nsin هویت‌شان را واقعاً تأیید کرده است (با reverse DNS یا بازه‌های آدرس منتشرشده‌ی آن‌ها).

نکته

راه درست اجازه‌دادن به یک خزنده همین است. «Googlebot تأییدشده» را تطبیق دهید تا نمونه‌ی واقعی وارد شود، بدون این‌که هر اسکرپری که نامش را کپی می‌کند هم وارد شود.

چالش‌ها

قانون چالش یک بررسی تعاملی را به بازدیدکننده‌های مسیرهای انتخابی نشان می‌دهد. با موفقیت در آن، مرور عادی ادامه پیدا می‌کند و نتیجه مدتی به‌خاطر سپرده می‌شود تا افراد واقعی در هر صفحه دوباره سؤال نشوند.

وقتی از چالش استفاده کنید که مسدودسازی بیش‌ازحد خشن باشد — صفحه‌ی ورودی که تحت credential stuffing است، نقطه‌ی جستجویی که اسکرپ می‌شود، فرم ثبت‌نامی که اسپم می‌گیرد.

محدودیت نرخ هم می‌تواند به‌جای مسدودسازی به چالش ختم شود — به محدودیت نرخ ببینید.

قوانین اثر انگشت

بخشی از ترافیک خودکار اصلاً خود را معرفی نمی‌کند: user-agent یک مرورگر عادی می‌فرستد اما رفتارش هیچ شباهتی به مرورگر ندارد. قوانین اثر انگشت بر اساس شکل خود اتصال (اثر انگشت TLS و HTTP) تطبیق می‌دهند، نه بر اساس ادعای آن، و می‌توانند درخواست را رد کنند، به چالش بکشند یا فقط برچسب بزنند.

این ابزار پیشرفته است. با حالت برچسب شروع کنید، در آمار ببینید چه می‌گیرد و بعد تصمیم بگیرید که چالش بدهید یا رد کنید.

ترتیب مهم است

این قوانین به‌ترتیب ارزیابی می‌شوند، پس قوانین اجازه‌دهنده (موتورهای جستجوی تأییدشده) را بالای قوانین مسدودکننده‌ی گسترده بگذارید. به مرور قوانین ببینید.

سوال‌های رایج

آیا مسدودکردن خزنده‌های هوش مصنوعی به رتبه‌ی جستجوی من آسیب می‌زند؟ خیر — خزنده‌های هوش مصنوعی و خزنده‌های موتور جستجو جدا هستند. آن‌ها را مسدود کنید و Googlebot و Bingbot را رها کنید.

گوگل دیگر سایتم را ایندکس نمی‌کند. بررسی کنید قانون ربات یا مسدودسازی آن را نگرفته باشد و برای اطمینان آن قانون را به برچسب یا آزمایشی تغییر دهید.

بازدیدکننده‌های واقعی مدام چالش می‌گیرند. قانون را به مسیرهایی که واقعاً نیاز دارند (/login، /search) محدود کنید، نه کل سایت.