بلاک کردن GPTBot و کنترل خزنده‌های هوش مصنوعی
چطور GPTBot و خزنده‌های هوش مصنوعی را بدون اثر روی Googlebot بلاک کنید؛ قالب‌های آماده، حالت dry run و Markdown for Agents در nsin.
به سایت شما ربات‌هایی سر می‌زنند که نه گوگل‌اند و نه کاربر واقعی: GPTBot، ClaudeBot، PerplexityBot و خزنده‌های دیگر. بعضی برای آموزش مدل محتوای شما را جمع می‌کنند، بعضی در پاسخ‌های یک موتور پاسخ‌دهنده به شما ارجاع می‌دهند و بعضی فقط همان لحظه و به درخواست یک کاربر یک صفحه را می‌خوانند. این مقاله نشان می‌دهد چطور با nsin «GPTBot را بلاک کنید» و «خزنده هوش مصنوعی را کنترل کنید»، و از طرف دیگر چطور «Markdown for Agents» صفحه‌های شما را برای ایجنت‌ها کم‌توکن‌تر می‌کند.
اول بفهمید چه کسی می‌آید
پیش از بلاک، باید دید چه کسی سراغ سایت شما می‌آید. بخش AI Crawl Control در nsin هر خزنده هوش مصنوعی را نام می‌برد و ربات‌ها را در پنج دسته می‌شناسد (سه دسته AI به‌علاوه جستجوی کلاسیک و ابزارهای SEO):
| دسته | معنی | نمونه |
|---|---|---|
| AI Crawler | جمع‌آوری انبوه، معمولاً برای آموزش | GPTBot، ClaudeBot، CCBot، Bytespider، Google-Extended، Meta-ExternalAgent، Amazonbot |
| AI Search | موتور پاسخ‌دهنده که به شما ارجاع می‌دهد | OAI-SearchBot، PerplexityBot، Applebot |
| AI Assistant | دریافت زنده یک صفحه به درخواست کاربر | ChatGPT-User، Claude-User، Perplexity-User |
| Search Engine | جستجوی کلاسیک | Googlebot، Bingbot، DuckDuckBot، YandexBot |
| SEO Tool | خزنده‌های بک‌لینک و ممیزی | AhrefsBot، SemrushBot، MJ12Bot |
قاعده کلی مستندات ساده است: بلاک کردن یک خزنده آموزشی هیچ ترافیکی را از شما نمی‌گیرد، ولی بلاک کردن یک موتور پاسخ‌دهنده یعنی از نتایج آن حذف می‌شوید. پس تصمیم به هدف کسب‌وکار شما بستگی دارد.
صفحه‌های این بخش:
- Overview — ترافیک AI به تفکیک شرکت، در بازه‌های ۲۴ ساعت، ۷ روز و ۳۰ روز.
- Metrics — آمار هر خزنده: درخواست‌ها، موارد مجاز و هزینه.
- Security — سیاست هر خزنده و قالب‌های آماده.
- Optimization — همان Markdown for Agents.
بلاک کردن GPTBot با قالب‌های آماده
در صفحه Security چهار قالب آماده هست. اعمال هر کدام یک قانون ربات معمولی می‌سازد که بعداً در بخش Rules قابل ویرایش است.
| قالب | کارش |
|---|---|
| Block AI training crawlers | خزنده‌های جمع‌آوری را بلاک می‌کند؛ موتورهای جستجو و پاسخ‌دهنده دست‌نخورده می‌مانند |
| Allow AI search, block trainers | خزنده‌هایی که به شما ارجاع می‌دهند می‌مانند و جمع‌آورها بلاک می‌شوند |
| Block all AI crawlers | همه انواع AI بلاک می‌شوند؛ جستجوی کلاسیک تأثیر نمی‌گیرد |
| Monitor only (dry run) | چیزی را بلاک نمی‌کند و هر تطبیق را مثل حالت بلاک ثبت می‌کند |
پیشنهاد مستندات این است که با Monitor only شروع کنید تا پیش از هر تغییر ببینید سیاست چه چیزی را متوقف می‌کرد.
GPTBot در دسته AI Crawler است، پس قالب‌های Block AI training crawlers و Allow AI search, block trainers آن را می‌بندند و موتورهای پاسخ‌دهنده‌ای را که به شما ارجاع می‌دهند نگه می‌دارند. قالب Block all AI crawlers علاوه بر آن موتورهای پاسخ‌دهنده را هم می‌بندد و از نتایجشان حذف می‌شوید. توجه کنید که قالب‌ها همه خزنده‌های هم‌نوع را هدف می‌گیرند، نه فقط GPTBot؛ برای سیاست جداگانه روی یک خزنده، سیاست همان خزنده را در صفحه Security تعیین کنید یا از بخش بعد یک قانون اختصاصی بسازید.
سیاست اختصاصی خودتان
اگر قالب‌ها کافی نیستند، در بخش Rules گزینه Add Rule و بعد Bots را انتخاب کنید، سپس ربات‌ها را مشخص کنید (موتور جستجو، خزنده AI، ابزار SEO یا هر ربات) و یکی از چهار اکشن را انتخاب کنید:
- Block — رد درخواست با کد وضعیتی که تعیین می‌کنید (پیش‌فرض 403).
- Serve different content — پاسخ دلخواه شما، مثلاً یک اطلاعیه مجوز، بدون رسیدن درخواست به سرور شما.
- Send to a different server — پروکسی به مبدأ دیگر.
- Tag only — عبور با برچسب در آنالیتیکس.
قانون می‌تواند کل زون یا رکوردهای مشخص را هدف بگیرد و اول در حالت dry run اجرا شود. ترتیب قوانین مهم است: قوانین از نوع allow را بالاتر از قوانین block بگذارید.
هویت تأییدشده
هر کسی می‌تواند GPTBot را در user-agent خودش بنویسد. گزینه Verified only فقط خزنده‌هایی را تطبیق می‌دهد که nsin با forward-confirmed reverse DNS تأییدشان کرده است. مستندات توصیه می‌کند از این گزینه وقتی استفاده کنید که می‌خواهید خزنده‌ای را اجازه بدهید؛ وگرنه هر کسی می‌تواند با نوشتن نام آن خزنده در user-agent از اجازه‌ای که داده‌اید سوءاستفاده کند.
بلاک AI به سئوی گوگل ضربه می‌زند؟
نه، به شرطی که قانون فقط دسته‌های AI را هدف بگیرد. مستندات صریح است: خزنده‌های AI و موتورهای جستجو جدا هستند و می‌شود AI را بلاک کرد و به Googlebot دست نزد. قانون nsin هم روی Googlebot و Bingbot یا بازدیدکننده انسانی اثر نمی‌گذارد مگر اینکه خودتان نامشان را در قانون بیاورید.
اگر گوگل ایندکس سایتتان را متوقف کرد، یکی از چیزهایی که باید بررسی کنید این است که یک قانون ربات یا بلاک آن را نگرفته باشد؛ برای تست، حالت tag یا dry run را روشن کنید. درباره اثر CDN بر دسترسی گوگل و سئو هم دسترسی گوگل‌بات به سایت ایرانی و چرا CDN رتبه سئوی سایت شما را بهبود می‌دهد را ببینید.
یک محدودیت مهم: کنترل خزنده در nsin فایل robots.txt را ویرایش نمی‌کند. بلاک در لبه و مستقل از robots.txt اعمال می‌شود.
Markdown for Agents چیست؟
ایجنت هوش مصنوعی همان HTML را می‌گیرد که مرورگر می‌گیرد: منو، اسکریپت، استایل و ردیاب. Markdown for Agents صفحه‌های مناسب را در لبه و به‌درخواست به Markdown تبدیل می‌کند و طبق مستندات معمولاً ۵ تا ۱۰ برابر توکن کمتر مصرف می‌کند. بازدیدکننده انسانی همیشه HTML می‌گیرد.
برای روشن کردن آن، دامنه را در پنل باز کنید، به AI Crawl Control و بعد Optimization بروید و سوئیچ Markdown for Agents را روشن کنید. به‌صورت پیش‌فرض خاموش است و پلن فعال لازم دارد.
سازوکار همان مذاکره محتوای استاندارد HTTP است:
curl -H 'Accept: text/markdown' https://example.ir/pricing
صفحه‌های واجد شرایط این هدرها را برمی‌گردانند:
| هدر | مقدار |
|---|---|
Content-Type | text/markdown; charset=utf-8 |
X-Markdown-Tokens | تعداد توکن Markdown ارسالی |
X-Original-Tokens | توکنی که HTML مصرف می‌کرد |
Vary | Accept |
هدر Vary: Accept به کش‌ها می‌گوید این URL دو نمایش دارد، پس صفحه پربازدید یک بار تبدیل و بعد دوباره استفاده می‌شود. درباره کلید کش و هدر Vary می‌توانید کش سایت چیست و کش CDN چگونه کار می‌کند را بخوانید.
این تبدیل هرگز یک صفحه سالم را به خطا تبدیل نمی‌کند: اگر پاسخ 200 text/html نباشد (تصویر، JSON، ریدایرکت)، بیش از حد بزرگ باشد، به‌موقع پارس نشود یا رمزگذاری آن پشتیبانی نشود، همان پاسخ اصلی می‌رسد و دلیلش در لاگ ثبت می‌شود.
صفحه Optimization یک تستر هم دارد که یک URL را با هر دو نمایش می‌گیرد و درصد صرفه‌جویی توکن را نشان می‌دهد.
پرسش‌های متداول
تفاوت GPTBot و ChatGPT-User چیست؟
طبق دسته‌بندی nsin، GPTBot یک AI Crawler است که برای جمع‌آوری انبوه، معمولاً آموزش، می‌آید. ChatGPT-User یک AI Assistant است که یک صفحه را به‌درخواست کاربر و همان لحظه می‌خواند. سیاست هر کدام را می‌توانید جدا تعیین کنید.
آیا این قابلیت robots.txt من را تغییر می‌دهد؟
خیر. nsin در لبه عمل می‌کند و robots.txt را ویرایش نمی‌کند.
بلاک کردن AI جلوی Googlebot را می‌گیرد؟
نه، مگر خودتان Googlebot را در قانون بنویسید. خزنده‌های AI و موتورهای جستجو دسته‌های جدایی هستند.
قبل از بلاک چطور اثرش را ببینم؟
قالب Monitor only (dry run) را اعمال کنید. چیزی بلاک نمی‌شود و هر تطبیق مثل حالت بلاک ثبت می‌شود.
گام بعدی
جزئیات را در AI Crawl Control، Markdown for Agents و ربات‌ها و چالش‌ها ببینید. این قابلیت‌ها بخشی از محصول CDN در nsin هستند؛ برای ترافیک مخرب‌تر هم فایروال وب و محافظت در برابر DDoS را مرور کنید. برای شروع، دامنه‌تان را در پنل nsin اضافه کنید، در صفحه‌های Overview و Metrics ببینید چه خزنده‌هایی سایت شما را می‌خوانند و سیاست‌ها را با قالب Monitor only بسنجید.