کنترل خزنده‌های AIکنترل خزنده‌های هوش مصنوعی روی سایت شما
GPTBot، ClaudeBot، PerplexityBot، Google-Extended و چندین خزنده دیگر همین حالا صفحات شما را می‌خوانند. nsin تک‌تک آن‌ها را نام می‌برد، نشان می‌دهد چه برداشته‌اند و اجازه می‌دهد آن‌هایی را که فقط برای آموزش مدل می‌خزند ببندید و آن‌هایی را که خواننده برمی‌گردانند نگه دارید.
هر خزنده با نام و دسته
خزنده‌ها بر اساس کارشان دسته‌بندی می‌شوند: خزنده‌های آموزش مدل، موتورهای جست‌وجوی AI که به شما ارجاع می‌دهند، دستیارهایی که به درخواست کاربر یک صفحه را می‌گیرند، موتورهای جست‌وجوی کلاسیک و ابزارهای سئو.
- ۲۱ خزنده با دسته‌بندی بر اساس شرکت و هدف
- ترافیک AI به تفکیک شرکت در ۲۴ ساعت، ۷ یا ۳۰ روز
- تعداد درخواست و سهم مجاز برای هر خزنده
سیاست‌های یک‌کلیکی
چهار قالب آماده انتخاب‌های رایج را پوشش می‌دهد. اعمال هر قالب یک قانون ربات معمولی می‌سازد که می‌توانید ویرایشش کنید، به زیردامنه‌های مشخص محدودش کنید و اول در حالت آزمایشی اجرا کنید.
- مسدود کردن خزنده‌های آموزش مدل
- مجاز بودن جست‌وجوی AI و مسدود بودن خزنده‌های آموزشی
- فقط پایش، برای دیدن اثر سیاست پیش از اجرا
اجرا روی خود درخواست، با هویت تأییدشده
robots.txt یک درخواست است؛ این یک قانون است. با کد وضعیت دلخواه مسدود کنید، اطلاعیه مجوز نشان دهید یا خزنده را به سرور دیگری بفرستید. حالت «فقط تأییدشده» ربات‌هایی را که User-Agent جعل می‌کنند نادیده می‌گیرد.
- مسدودسازی، محتوای متفاوت، هدایت یا فقط برچسب
- تأیید هویت با reverse DNS دوطرفه
- Googlebot و Bingbot دست‌نخورده می‌مانند، مگر خودتان نام ببرید
سوالات متداول
مسدود کردن خزنده‌های هوش مصنوعی به رتبه گوگل آسیب می‌زند؟
نه. خزنده‌های هوش مصنوعی و خزنده‌های جست‌وجو جدا هستند. می‌توانید GPTBot یا CCBot را ببندید و Googlebot و Bingbot را آزاد بگذارید.
این همان robots.txt است؟
نه. robots.txt از خزنده می‌خواهد نیاید و به اطاعت او وابسته است. کنترل خزنده‌های AI روی خود درخواست عمل می‌کند، هر تصمیمی که خزنده بگیرد.
nsin کدام خزنده‌های هوش مصنوعی را می‌شناسد؟
خزنده‌های آموزشی مثل GPTBot، ClaudeBot، CCBot، Bytespider، Google-Extended و Amazonbot، موتورهای پاسخ مثل OAI-SearchBot و PerplexityBot و دستیارهایی مثل ChatGPT-User و Claude-User.
می‌توانم اثر یک سیاست را پیش از مسدودسازی ببینم؟
بله. قالب «فقط پایش» هیچ‌چیز را مسدود نمی‌کند و هر تطبیق را طوری ثبت می‌کند که انگار مسدود شده است.