AI Crawl Control
AI Crawl Control هر AI crawler که به سایت شما سر می‌زند را نام می‌برد و اجازه می‌دهد برایش policy تعیین کنید. آن را زیر AI Crawl Control روی domain خودتان پیدا کنید.
انسین چه چیزی را می‌شناسد
Section titled “انسین چه چیزی را می‌شناسد”| دسته | یعنی چه | مثال‌ها |
|---|---|---|
| AI Crawler | scrape انبوه، معمولاً برای training. | GPTBot، ClaudeBot، CCBot، Bytespider، Google-Extended، Meta-ExternalAgent، Amazonbot |
| AI Search | موتور پاسخ را تغذیه می‌کند، به شما ارجاع می‌دهد. | OAI-SearchBot، PerplexityBot، Applebot |
| AI Assistant | یک صفحه را زنده، بنا به درخواست، fetch می‌کند. | ChatGPT-User، Claude-User، Perplexity-User |
| Search Engine | جست‌وجوی وب کلاسیک. | Googlebot، Bingbot، DuckDuckBot، YandexBot |
| SEO Tool | crawlerهای backlink و audit. | AhrefsBot، SemrushBot، MJ12Bot |
مسدود کردن یک trainer هیچ trafficای از دست نمی‌دهد. مسدود کردن یک answer engine نتایج آن را از دست می‌دهد.
صفحه‌ها
Section titled “صفحه‌ها”- Overview — traffic هوش مصنوعی بر اساس شرکت: 24 ساعت / 7 روز / 30 روز.
- Metrics — برای هر crawler: request، allowed، هزینه.
- Security — policy هر crawler، به‌علاوه templateها.
- Optimization — Markdown for Agents.
Policyهای آماده
Section titled “Policyهای آماده”صفحه Security چهار template ارائه می‌دهد. اعمال یکی از آن‌ها یک bot rule عادی می‌سازد که می‌توانید در Rules ویرایشش کنید.
| Template | چه کاری می‌کند |
|---|---|
| Block AI training crawlers | botهای scrape را مسدود می‌کند. Search و answer engine دست‌نخورده می‌مانند. |
| Allow AI search, block trainers | crawlerهایی که به شما ارجاع می‌دهند را نگه می‌دارد؛ scraperها را مسدود می‌کند. |
| Block all AI crawlers | هر نوع AI را مسدود می‌کند. search کلاسیک تحت تأثیر قرار نمی‌گیرد. |
| Monitor only (dry run) | چیزی را مسدود نمی‌کند؛ هر match را طوری log می‌کند انگار مسدود شده. |
تعیین policy خودتان
Section titled “تعیین policy خودتان”به Rules → Add Rule → Bots بروید، یا rule یک template را ویرایش کنید:
- Block — با یک status که خودتان انتخاب می‌کنید رد کنید (پیش‌فرض 403).
- Serve different content — مثلاً یک اعلان licensing.
- Send to a different server — آن را به origin دیگری proxy کنید.
- Tag only — اجازه عبور بدهید، اما در analytics علامت‌گذاری شود.
Ruleها می‌توانند کل zone یا recordهای خاص را هدف بگیرند، و اول در dry run اجرا شوند. مرجع کامل: Bots & Challenges.
هویت verifyشده
Section titled “هویت verifyشده”هرکسی می‌تواند GPTBot را در رشته user-agent بگذارد. Verified only فقط
crawlerهایی را match می‌کند که انسین با forward-confirmed reverse DNS تأیید کرده.
وقتی می‌خواهید یک crawler را allow کنید از آن استفاده کنید.
این کار چه چیزی را انجام نمی‌دهد
Section titled “این کار چه چیزی را انجام نمی‌دهد”robots.txtرا ویرایش نمی‌کند — صرف‌نظر از آن، در edge عمل می‌کند.- روی بازدیدکننده‌های انسانی، Googlebot، یا Bingbot اثر نمی‌گذارد مگر اینکه یک rule آن‌ها را نام ببرد.
بعدش چه
Section titled “بعدش چه”- Markdown for Agents — صفحات با token کم.
- Bots & Challenges — این نوع rule.
- Monitoring & Analytics — داده‌های traffic.