Markdown برای ایجنتها
ایجنت هوش مصنوعیای که یکی از صفحات شما را میخواهد، همان HTMLای را میگیرد که یک مرورگر میگیرد — منو، اسکریپت، استایل، ترکینگ و همهچیز. بیشتر اینها نویز است که باید پیش از رسیدن به محتوای واقعی شما بابتش توکن بدهد.
Markdown برای ایجنتها صفحات HTML واجد شرایط را روی لبه به Markdown تبدیل میکند، البته فقط وقتی کلاینت آن را بخواهد. نتیجه معمول: ۵ تا ۱۰ برابر توکن کمتر، پس بخش خیلی بیشتری از صفحه شما در چیزی که ایجنت واقعاً میخواند جا میشود.
بازدیدکنندههای انسانی هیچ تغییری نمیبینند — آنها هرگز Markdown درخواست نمیکنند، پس همیشه HTML شما را میگیرند.
روشن کردنش
Section titled “روشن کردنش”۱. دامنهتان را در داشبورد باز کنید. ۲. به AI Crawl Control ← Optimization بروید. ۳. Markdown for Agents را روشن کنید.
پیشفرض خاموش است و به یک پلن فعال نیاز دارد.
چطور کار میکند
Section titled “چطور کار میکند”این همان content negotiation استاندارد HTTP است. کلاینتی که Markdown را ترجیح میدهد آن را اعلام میکند:
curl -H 'Accept: text/markdown' https://example.ir/pricingاگر صفحه واجد شرایط باشد، nsin آن را تبدیل میکند و با اینها پاسخ میدهد:
| هدر | مقدار |
|---|---|
Content-Type | text/markdown; charset=utf-8 |
X-Markdown-Tokens | توکنهای Markdown ارسالی |
X-Original-Tokens | توکنهایی که HTML هزینه میکرد |
Vary | Accept |
آن Vary: Accept مهم است: به هر کشی در مسیر میگوید این آدرس دو نمایش دارد، پس
هیچوقت Markdown به یک مرورگر و HTML به یک ایجنت داده نمیشود.
تبدیل هم روی پاسخهای کششده و هم روی پاسخهای زنده انجام میشود، و یک صفحه پرترافیک یکبار تبدیل و دوباره استفاده میشود.
کِی تبدیل نمیشود
Section titled “کِی تبدیل نمیشود”تبدیل هرگز یک صفحه سالم را به خطا تبدیل نمیکند. اگر نتواند اجرا شود، همان HTML اصلی سرو میشود. این حالتها:
- پاسخ
200 text/htmlنیست — تصویر، API با خروجی JSON، ریدایرکت؛ - صفحه بزرگتر از آن است که در بودجه زمانی لبه تبدیل شود؛
- HTML در زمان مقرر قابل پارس نیست، یا انکودینگش پشتیبانی نمیشود.
درخواست همچنان در لاگ شما دیده میشود و دلیلش ثبت میشود، پس میتوانید ببینید کدام صفحات به HTML برمیگردند.
بررسی اینکه کار میکند
Section titled “بررسی اینکه کار میکند”صفحه Optimization یک تستر دارد. یک زیردامنه و یک مسیر به آن بدهید تا همان آدرس را دو بار بگیرد — یکبار مثل مرورگر و یکبار مثل ایجنت — و نتیجه هر دو را کنار هم نشان دهد:
- هرکدام چه گرفتهاند (وضعیت، نوع محتوا، وضعیت کش)،
- نسخه ایجنت تبدیل شده یا نه،
- تعداد توکن هرکدام و درصد صرفهجویی.
زیر تستر، نمای زنده است: کدام درخواستها Markdown خواستهاند، کدام تبدیل شدهاند و کدام به HTML برگشتهاند.
قدم بعدی
Section titled “قدم بعدی”- کنترل خزش هوش مصنوعی — تصمیم بگیرید اصلاً کدام خزندهها به شما برسند.
- هدرهای پراکسی — بقیه هدرهایی که nsin اضافه میکند.