کنترل خزش هوش مصنوعی
خزندههای هوش مصنوعی همین حالا به سایت شما سر میزنند. بعضی خواننده برایتان میفرستند؛ بعضی فقط صفحات شما را برای آموزش یک مدل برمیدارند. کنترل خزش هوش مصنوعی هرکدام را نام میبرد، نشان میدهد چه برداشته و میگذارد برای هرکدام سیاست جداگانهای بگذارید.
آن را در داشبورد، زیر AI Crawl Control روی دامنهتان پیدا میکنید.
چه کسانی را میشناسیم
Section titled “چه کسانی را میشناسیم”هر باتی که لبه شناسایی میکند، بر اساس شرکتی که آن را اجرا میکند و هدفش دستهبندی میشود:
| دسته | یعنی چه | نمونهها |
|---|---|---|
| خزنده هوش مصنوعی | برداشت انبوه، معمولاً برای آموزش مدل. | GPTBot، ClaudeBot، CCBot، Bytespider، Google-Extended، Meta-ExternalAgent، Amazonbot |
| جستوجوی هوش مصنوعی | ایندکس موتور پاسخ را میسازد و به شما ارجاع میدهد. | OAI-SearchBot، PerplexityBot، Applebot |
| دستیار هوش مصنوعی | چون کاربری پرسیده، صفحه را زنده میگیرد. | ChatGPT-User، Claude-User، Perplexity-User |
| موتور جستوجو | جستوجوی وب کلاسیک. | Googlebot، Bingbot، DuckDuckBot، YandexBot |
| ابزار سئو | خزندههای تجاری بکلینک و ممیزی. | AhrefsBot، SemrushBot، MJ12Bot |
این تفکیک مهم است. بستن یک خزنده آموزشی هیچ ترافیکی از شما نمیگیرد؛ بستن یک موتور پاسخ، شما را از نتایجی که به مردم نشان میدهد حذف میکند.
صفحهها
Section titled “صفحهها”- Overview — چقدر ترافیک هوش مصنوعی به دامنه رسیده، گروهبندیشده بر اساس شرکت پشت آن، در ۲۴ ساعت، ۷ روز یا ۳۰ روز گذشته.
- Metrics — همان ترافیک به تفکیک هر خزنده: تعداد درخواست، چند تا مجاز بوده و چقدر پهنای باند برده است.
- Security — جدول همه خزندهها با سیاست فعلیشان، و قالبهای آماده زیر.
- Optimization — Markdown برای ایجنتها.
سیاستهای آماده
Section titled “سیاستهای آماده”صفحه Security چهار نقطه شروع پیشنهاد میدهد. اعمال هرکدام یک قانون بات معمولی میسازد — هیچ چیز پنهانی — که بعد میتوانید مثل هر قانون دیگری در Rules ویرایش یا حذفش کنید.
| قالب | چه میکند |
|---|---|
| بستن خزندههای آموزشی | باتهایی را که برای آموزش مدل برداشت میکنند میبندد. موتورهای جستوجو و پاسخ دستنخورده میمانند. |
| اجازه به جستوجوی هوش مصنوعی، بستن آموزشدهندهها | دستیارها و موتورهای پاسخی که به شما ارجاع میدهند باقی میمانند؛ اسکرپرهای صرفاً آموزشی بسته میشوند. |
| بستن همه خزندههای هوش مصنوعی | هر نوع هوش مصنوعی را میبندد، از جمله واکشی زنده دستیارها. جستوجوی کلاسیک همچنان شما را ایندکس میکند، پس رتبه گوگل و بینگ تغییری نمیکند. |
| فقط پایش (اجرای آزمایشی) | با همه خزندههای هوش مصنوعی تطبیق میدهد و هیچکدام را نمیبندد — هر تطبیق طوری لاگ میشود که انگار بسته شده است. |
سیاست دلخواه خودتان
Section titled “سیاست دلخواه خودتان”هر قانونی که برای یک بات میتوانید بسازید، برای یک خزنده هوش مصنوعی هم میسازید. به Rules ← Add Rule ← Bots بروید، یا قانونی را که یک قالب ساخته ویرایش کنید. کارهای ممکن:
- بلاک — درخواست را با وضعیتی که انتخاب میکنید رد میکند (پیشفرض ۴۰۳).
- محتوای متفاوت — بهجای رسیدن به سرور شما، پاسخ کوتاه خودتان را برمیگرداند. برای یک اعلان مجوز مفید است.
- ارسال به سرور دیگر — خزنده را به مبدأ دیگری پروکسی میکند تا خزش سنگین هرگز به سرور اصلی نرسد.
- فقط برچسب — عبور میکند، اما در آنالیتیکس شما علامت میخورد.
قوانین میتوانند کل زون یا فقط رکوردهای پروکسیشده خاصی را پوشش دهند و میتوانند قبل از اجرا در حالت آزمایشی اجرا شوند. مرجع کامل قوانین در رباتها و چالشها است.
هویت تأییدشده
Section titled “هویت تأییدشده”هر کسی میتواند GPTBot را در user-agent بنویسد. گزینه فقط تأییدشده را روشن
کنید تا قانون فقط با خزندههایی تطبیق دهد که nsin هویتشان را واقعاً روی لبه — با
reverse DNS دوطرفه — تأیید کرده است.
هر وقت میخواهید خزندهای را مجاز کنید از آن استفاده کنید؛ وگرنه هر اسکرپری که همان نام را کپی کرده هم وارد میشود.
چه کاری نمیکند
Section titled “چه کاری نمیکند”- فایل
robots.txtشما را تغییر نمیدهد. خزنده خوشرفتار از robots.txt پیروی میکند؛ کنترل خزش هوش مصنوعی روی لبه عمل میکند، پس چه خزنده آن فایل را بخواند چه نخواند اعمال میشود. - روی بازدیدکنندههای انسانی اثری ندارد، و تا وقتی خودتان Googlebot یا Bingbot را صراحتاً در قانونی نگذارید، به آنها کاری ندارد.
قدم بعدی
Section titled “قدم بعدی”- Markdown برای ایجنتها — نسخهای تمیز و کمتوکن از صفحاتتان به ایجنتها بدهید.
- رباتها و چالشها — نوع قانونی که زیر این قرار دارد.
- مانیتورینگ و آمار — جایی که بقیه دادههای ترافیک شما هست.