Markdown for Agents
یک AI agent همان HTML مرورگر را می‌گیرد: nav، scriptها، styleها، tracking.
Markdown for Agents صفحات واجد شرایط را در edge، بنا به درخواست، به Markdown تبدیل می‌کند — معمولاً 5 تا 10 برابر token کمتر. بازدیدکننده‌های انسانی همیشه HTML می‌گیرند.
روشن کردنش
Section titled “روشن کردنش”- domain خودتان را در dashboard باز کنید.
- به AI Crawl Control → Optimization بروید.
- Markdown for Agents را روشن کنید.
پیش‌فرض خاموش است؛ به یک plan فعال نیاز دارد.
چطور کار می‌کند
Section titled “چطور کار می‌کند”content negotiation استاندارد HTTP:
curl -H 'Accept: text/markdown' https://example.ir/pricingصفحات واجد شرایط این‌ها را می‌گیرند:
| Header | مقدار |
|---|---|
Content-Type | text/markdown; charset=utf-8 |
X-Markdown-Tokens | تعداد tokenهای Markdown ارسالی |
X-Original-Tokens | تعداد tokenهایی که HTML هزینه داشت |
Vary | Accept |
Vary: Accept به cacheها می‌گوید این URL دو نمایش دارد. یک صفحه پرترافیک
یک‌بار تبدیل می‌شود، بعد دوباره استفاده می‌شود.
کِی تبدیل نمی‌شود
Section titled “کِی تبدیل نمی‌شود”تبدیل هرگز یک صفحه سالم را به خطا تبدیل نمی‌کند؛ در این موارد fallback می‌کند:
- status برابر
200 text/htmlنباشد (image، JSON API، redirect)؛ - برای بودجه edge خیلی بزرگ باشد؛
- به‌موقع parse نشود، یا encoding پشتیبانی‌نشده باشد.
باز هم در logهای شما ظاهر می‌شود، همراه با دلیل.
چک کردن اینکه کار می‌کند
Section titled “چک کردن اینکه کار می‌کند”صفحه Optimization یک tester دارد: یک subdomain و path بدهید؛ URL را به‌عنوان هردو fetch می‌کند و نشان می‌دهد:
- status، content type، وضعیت cache،
- اینکه کپی agent تبدیل شد یا نه،
- تعداد token هرکدام، و درصد صرفه‌جویی.
پایین آن، نمای زنده نشان می‌دهد کدام requestها Markdown negotiate کردند، تبدیل شدند، یا fallback خوردند.
بعدش چه
Section titled “بعدش چه”- AI Crawl Control — کدام crawlerها به شما می‌رسند.
- Proxy Headers — سایر headerهای انسین.