Bots و Challenges
nsin سه ابزار برای ترافیک خودکار به شما می‌دهد:
- Bot rules — بات‌های شناخته‌شده: موتورهای جست‌وجو، crawler های AI، ابزارهای SEO.
- Challenges (CAPTCHA) — ترافیک نامطمئن: ثابت کن انسانی.
- Fingerprint rules — ترافیکی که درباره‌ی خودش دروغ می‌گوید.
Bot rules
Section titled “Bot rules”یک bot rule با بات‌هایی که edge می‌شناسد تطبیق می‌یابد.
- به Rules → Add Rule → Bots بروید.
- بات‌ها را انتخاب کنید: موتورهای جست‌وجو، crawler های AI، ابزارهای SEO، یا any bot.
- کنش را انتخاب کنید.
- Save را بزنید.
| کنش | چه می‌کند |
|---|---|
| Block | درخواست را رد می‌کند. |
| Serve different content | پاسخ خودتان را برمی‌گرداند، سرور شما را رد می‌کند. |
| Send to a different server | به یک origin دیگر proxy می‌کند. |
| Tag only | اجازه می‌دهد رد شود، فقط در analytics علامت می‌خورد. |
فقط بات‌های verified
Section titled “فقط بات‌های verified”هر کسی می‌تواند ادعا کند Googlebot است — فقط متنی در درخواست است. Verified only فقط بات‌هایی را که با DNS یا IP تأیید شده‌اند تطبیق می‌دهد.
Challenges
Section titled “Challenges”یک قانون challenge روی path های انتخابی یک بررسی تعاملی نشان می‌دهد. اگر بگذرد، مرور ادامه می‌یابد؛ از افراد دوباره پرسیده نمی‌شود.
وقتی block خیلی خشن است از آن استفاده کنید: یک صفحه‌ی login زیر credential stuffing، یک endpoint جست‌وجوی scrapeشده، یک sign-up اسپمی.
rate limiting هم می‌تواند به‌جای block به یک challenge ختم شود — ببینید Rate Limiting.
Fingerprint rules
Section titled “Fingerprint rules”بعضی ترافیک یک user-agent عادی دارد اما اصلاً مثل مرورگر رفتار نمی‌کند. fingerprint rule با TLS/HTTP fingerprint تطبیق می‌یابد، و می‌تواند drop، challenge یا tag کند.
پیشرفته: با حالت tag شروع کنید، بعد تصمیم بگیرید.
ترتیب مهم است
Section titled “ترتیب مهم است”قوانین به ترتیب اجرا می‌شوند. قوانین allow-style را بالاتر از block-style بگذارید. ببینید مرور قوانین.
سوال‌های رایج
Section titled “سوال‌های رایج”مسدودکردن crawler های AI به رتبه‌ام آسیب می‌زند؟ نه — بات‌های AI و موتورهای جست‌وجو جدا هستند. AI را block کنید، Googlebot را دست نزنید.
Google دیگر سایتم را index نمی‌کند. یک bot rule یا block rule ممکن است آن را می‌گیرد. برای بررسی به tag یا dry run سوییچ کنید.
بازدیدکننده‌های واقعی مدام challenge می‌شوند.
قانون را به path هایی که واقعاً لازم دارند محدود کنید (/login، /search)، نه
کل سایت.