Markdown for Agents؛ تبدیل HTML به Markdown برای هوش مصنوعی
ایجنت‌ها با HTML پر از منو و اسکریپت توکن هدر می‌دهند. ببینید Markdown for Agents در nsin چه می‌کند، چطور روشنش کنید و اثرش را بسنجید.
وقتی یک دستیار هوش مصنوعی، یک ایجنت کدنویسی یا یک ابزار جستجوی هوشمند صفحه‌ای از سایت شما را می‌خواند، معمولاً همان چیزی را می‌گیرد که مرورگر می‌گیرد: HTML کامل با منو، اسکریپت، استایل و کد ردیابی. محتوای اصلی صفحه، یعنی چیزی که ایجنت واقعاً دنبالش است، لابه‌لای این نویز گم می‌شود و هر تکه از نویز هم از بودجه توکن ایجنت خرج می‌شود.
این مقاله درباره Markdown for Agents در nsin است: قابلیتی که صفحه‌های مناسب را در لبه به Markdown تبدیل می‌کند تا ایجنتی که Markdown بخواهد، نسخه‌ای سبک بگیرد. می‌بینید چه اتفاقی می‌افتد، چطور روشنش کنید، چطور اثرش را بسنجید و چه چیزهایی را قول نمی‌دهد. هر ادعا درباره nsin از مستندات رسمی آمده و جایی که مستندات ساکت است، صریح می‌گوییم.
چرا HTML برای ایجنت‌ها پرسروصداست
طبق مستندات nsin، ایجنت هوش مصنوعی همان HTML مرورگر را می‌گیرد: منو، اسکریپت، استایل و ردیاب. برای انسان این‌ها تجربه صفحه را می‌سازند؛ برای یک مدل زبانی، متنی اضافه‌اند که باید خوانده و شمرده شود. مدل‌ها با «توکن» کار می‌کنند و این یعنی:
- تعداد توکنی که ایجنت در یک نوبت می‌تواند بخواند محدود است و نویز جا را از محتوای واقعی می‌گیرد.
- توکن معمولاً هزینه دارد و صفحه‌ای که بیشترش مارکاپ است، برای همان مقدار اطلاعات گران‌تر تمام می‌شود.
به تلاش برای اینکه محتوای شما در پاسخ‌های هوش مصنوعی درست دیده شود گاهی «سئوی هوش مصنوعی» یا GEO می‌گویند. تحویل تمیز محتوا فقط یک تکه فنی از این پازل است و جای کیفیت خود محتوا را نمی‌گیرد.
Markdown for Agents در nsin چه می‌کند
Markdown for Agents صفحه‌های واجد شرایط را در لبه و به‌درخواست به Markdown تبدیل می‌کند و طبق مستندات معمولاً ۵ تا ۱۰ برابر توکن کمتر مصرف می‌کند. بازدیدکننده انسانی همیشه HTML می‌گیرد. آدرس صفحه عوض نمی‌شود: همان URL دو نمایش دارد و انتخاب با مذاکره محتوا (content negotiation) استاندارد HTTP انجام می‌شود.
ایجنت چطور Markdown می‌گیرد
ایجنت باید Markdown را بخواهد، یعنی هدر Accept را با مقدار text/markdown بفرستد. با curl هم می‌توانید همین کار را بکنید (گزینه -i فقط هدرهای پاسخ را نشان می‌دهد):
curl -i -H 'Accept: text/markdown' https://example.ir/pricing
در این مقاله «ایجنت» یعنی هر کلاینتی که text/markdown را درخواست کند. مستندات nsin نمی‌گوید کدام محصول یا شرکت مشخص این هدر را می‌فرستد و ما هم چنین ادعایی نمی‌کنیم. درخواست معمولی بدون این هدر همان HTML همیشگی را می‌گیرد.
صفحه‌ای که تبدیل شود این هدرها را برمی‌گرداند:
| هدر | مقدار |
|---|---|
Content-Type | text/markdown; charset=utf-8 |
X-Markdown-Tokens | تعداد توکن Markdown ارسالی |
X-Original-Tokens | توکنی که HTML مصرف می‌کرد |
Vary | Accept |
با مقایسه X-Markdown-Tokens و X-Original-Tokens صرفه‌جویی همان صفحه را همان‌جا می‌بینید. هدر Vary: Accept هم به کش‌ها می‌گوید این URL دو نمایش دارد؛ صفحه پربازدید یک بار تبدیل می‌شود و بعد دوباره استفاده می‌شود. اگر با Vary و کلید کش آشنا نیستید، کش CDN چطور کار می‌کند را بخوانید. هدرهای عمومی پاسخ‌های پروکسی‌شده، مثل Nsn-Cache-Status و Nsn-Ray، در هدرهای پروکسی توضیح داده شده‌اند.
چه صفحه‌هایی تبدیل نمی‌شوند
تبدیل هرگز یک صفحه سالم را به خطا تبدیل نمی‌کند. در این حالت‌ها کنار می‌کشد و پاسخ اصلی به کلاینت می‌رسد:
- پاسخ
200 text/htmlنباشد، مثل تصویر، API با خروجی JSON یا ریدایرکت. - صفحه برای بودجه لبه بیش از حد بزرگ باشد.
- صفحه به‌موقع پارس نشود یا رمزگذاری آن پشتیبانی نشود.
این درخواست‌ها در لاگ‌های شما هم می‌آیند، همراه با دلیل. متن کامل در بخش When it doesn't convert مستندات است.
یک نکته درباره خروجی: مستندات شرح نمی‌دهد دقیقاً کدام بخش‌های صفحه در Markdown می‌ماند. به‌جای حدس، صفحه‌های مهم خودتان را با curl بالا یا با تستر پنل بگیرید و خروجی را بخوانید.
روشن کردن آن در پنل
مراحل، همان‌طور که در مستندات آمده است:
- دامنه‌تان را در داشبورد باز کنید.
- به بخش AI Crawl Control بروید و زیر آن Optimization را باز کنید.
- سوئیچ Markdown for Agents را روشن کنید.
این قابلیت به‌صورت پیش‌فرض خاموش است و پلن فعال لازم دارد. مستندات مشخص نمی‌کند کدام پلن‌ها شامل آن هستند؛ برای مقایسه پلن‌ها صفحه پلن‌ها و پنل را ببینید. مرجع API هم می‌گوید روشن کردن این تنظیم برای دامنه‌ای بدون پلن فعال رد می‌شود، اما خاموش کردنش هرگز رد نمی‌شود.
اگر تنظیمات را با کد مدیریت می‌کنید، فیلد markdown_for_agents در تنظیمات دامنه همین سوئیچ است و ابزار update_domain_settings در MCP هم آن را پوشش می‌دهد؛ مستندات MCP و مرجع REST را ببینید.
چون تبدیل در لبه انجام می‌شود، هاست‌نیمی که تست می‌کنید باید از nsin عبور کند. طبق مستندات هدرها، رکورد DNS-only مستقیم به سرور شما می‌رسد و هرگز از لبه رد نمی‌شود؛ تفاوتش در حالت‌های دامنه آمده است.
سنجش اثر با تستر پنل
قبل از اینکه به یک عدد اعتماد کنید، خودتان اندازه بگیرید. صفحه Optimization یک تستر دارد: یک ساب‌دامین و یک مسیر می‌دهید و تستر همان URL را یک بار مثل مرورگر و یک بار مثل ایجنت می‌گیرد. برای هر دو نمایش این‌ها را نشان می‌دهد:
- وضعیت، نوع محتوا و وضعیت کش،
- اینکه نسخه ایجنت تبدیل شد یا نه،
- تعداد توکن هر نسخه و درصد صرفه‌جویی.
عدد «۵ تا ۱۰ برابر» در مستندات یک مقدار «معمولی» است، نه تضمین. صفحه‌ای که تقریباً فقط متن است و صفحه‌ای پر از اسکریپت و منوی سنگین نتیجه یکسان نمی‌دهند. عدد واقعی صفحه‌های خودتان را از تستر بخوانید و همان را مبنا قرار دهید.
طبق مرجع API، این تست پلن فعال نمی‌خواهد و می‌توانید تبدیل را پیش از روشن کردن قابلیت پیش‌نمایش کنید؛ نتیجه می‌گوید تنظیم دامنه در لحظه تست روشن بوده یا نه. همین تست با نام test_markdown_for_agents در MCP هم هست.
زیر تستر یک نمای زنده است که نشان می‌دهد کدام درخواست‌ها Markdown را negotiate کردند، تبدیل شدند یا به پاسخ اصلی برگشتند. مرجع API برای توسعه‌دهنده‌ها شمارنده‌هایی هم دارد: markdown_answered پاسخ‌هایی است که لبه واقعاً به Markdown بازنویسی کرده و markdown_missed بقیه پاسخ‌هایی است که می‌توانستند Markdown باشند. ریدایرکت، خطای ۴۰۴ و تصویر جزو «ازدست‌رفته‌ها» حساب نمی‌شوند. آمار هر خزنده هم شمارنده markdown دارد؛ به‌جای فرض کردن اینکه کدام ربات‌ها Markdown می‌گیرند، عددش را ببینید.
کنار کنترل خزنده، robots.txt و sitemap
این قابلیت با کنترل خزنده‌ها رقیب نیست و به دو سؤال جدا جواب می‌دهد:
| سؤال | ابزار در nsin |
|---|---|
| چه کسی اجازه دارد بیاید؟ | صفحه Security در AI Crawl Control و قانون‌های ربات |
| کسی که می‌آید و Markdown می‌خواهد چه نسخه‌ای می‌گیرد؟ | صفحه Optimization و Markdown for Agents |
اولی را در بلاک کردن GPTBot و کنترل خزنده‌های هوش مصنوعی کامل توضیح داده‌ایم: دسته‌بندی ربات‌ها، قالب‌های آماده، حالت dry run و گزینه Verified only. تصمیم درباره ورود ربات‌ها را جدا از تصمیم درباره فرمت صفحه بگیرید و اول با Monitor only ببینید یک سیاست چه چیزی را متوقف می‌کرد.
درباره robots.txt و sitemap، مستندات دو نکته دارد. کنترل خزنده در nsin فایل robots.txt را ویرایش نمی‌کند و مستقل از آن در لبه عمل می‌کند؛ پس آن فایل همچنان کار خودتان است. چک‌لیست Recommendations هم هشدار می‌دهد اگر خزنده‌ها /robots.txt را بخواهند و چیزی نگیرند، یا هیچ sitemap سرو نشود؛ رفع هر دو با خود سایت شماست. مستندات Markdown for Agents هیچ اشاره‌ای به این دو فایل ندارد.
این قابلیت چه کاری نمی‌کند
- تضمین ارجاع یا رتبه نمی‌دهد. هیچ‌جای مستندات نمی‌گوید فلان محصول هوش مصنوعی از Markdown استفاده می‌کند یا شما را بیشتر ارجاع می‌دهد. این قابلیت فقط شکل پاسخ را برای کلاینتی که Markdown می‌خواهد سبک‌تر می‌کند.
- ایندکس موتورهای جستجو را عوض نمی‌کند. این ابزار سئوی کلاسیک نیست. تبدیل به درخواست‌هایی پاسخ می‌دهد که
text/markdownرا بخواهند و بازدیدکننده انسانی همیشه HTML می‌گیرد. مستندات اثری بر ایندکس ذکر نمی‌کند. برای دسترسی گوگل به سایت‌های ایرانی دسترسی Googlebot از ایران و چرا CDN رتبه سئو را بهبود می‌دهد را ببینید. - کسی را بلاک یا اجازه نمی‌دهد. سیاست ورود با قانون‌های ربات تعیین می‌شود، نه با این سوئیچ.
- محتوای ضعیف را قوی نمی‌کند. Markdown یک صفحه کم‌محتوا هم کم‌محتوا می‌ماند.
چک‌لیست عملی
- صفحه‌هایی را فهرست کنید که دوست دارید ایجنت‌ها بخوانند، مثل قیمت، مستندات و پرسش‌های متداول.
- مطمئن شوید هاست‌نیم آن‌ها پروکسی شده و DNS-only نیست.
- هر مسیر را در تستر Optimization بسنجید و درصد صرفه‌جویی را یادداشت کنید.
- Markdown for Agents را روشن کنید.
- با
curl -i -H 'Accept: text/markdown'یک صفحه را بگیرید وX-Markdown-Tokensرا باX-Original-Tokensمقایسه کنید. - در نمای زنده ببینید کدام درخواست‌ها تبدیل شدند و کدام با چه دلیلی برگشتند.
- از Recommendations مطمئن شوید
robots.txtو sitemap سالم هستند. - سیاست خزنده‌ها را جدا تعیین کنید و با Monitor only شروع کنید.
پرسش‌های متداول
Markdown for Agents چیست؟
قابلیتی در nsin که صفحه‌های واجد شرایط را در لبه و به‌درخواست به Markdown تبدیل می‌کند تا ایجنت‌های هوش مصنوعی به‌جای HTML کامل نسخه‌ای سبک بگیرند. بازدیدکننده انسانی همیشه HTML می‌گیرد.
ChatGPT و ایجنت‌های دیگر سایت من را چطور می‌بینند؟
پیش‌فرض این است که ایجنت همان HTML مرورگر را می‌گیرد. nsin ربات‌هایی مثل ChatGPT-User را در دسته AI Assistant می‌شناسد، یعنی ربات‌هایی که یک صفحه را زنده و به‌درخواست کاربر می‌گیرند. اما مستندات نمی‌گوید کدام محصول مشخص Markdown درخواست می‌کند و ما هم چنین ادعایی نمی‌کنیم. تنها چیز مستند این است که کلاینتی که Accept: text/markdown بفرستد، برای صفحه واجد شرایط Markdown می‌گیرد. برای دیدن اینکه در سایت شما چه کسانی واقعاً Markdown گرفتند، نمای زنده و آمار خزنده‌ها را نگاه کنید.
روی سئوی گوگل اثر دارد؟
مستندات اثری بر ایندکس موتورهای جستجو ذکر نمی‌کند. این قابلیت برای کلاینت‌هایی است که Markdown را می‌خواهند، نه جایگزین سئوی کلاسیک.
چقدر توکن صرفه‌جویی می‌شود؟
مستندات می‌گوید معمولاً ۵ تا ۱۰ برابر کمتر. عدد دقیق هر صفحه را تستر پنل و هدرهای X-Markdown-Tokens و X-Original-Tokens نشان می‌دهند.
برای استفاده به چه پلنی نیاز دارم؟
مستندات فقط «پلن فعال» را شرط می‌کند و قابلیت به‌صورت پیش‌فرض خاموش است. جزئیات را در صفحه پلن‌ها و پنل ببینید.
گام بعدی
جزئیات فنی در مستندات Markdown for Agents و AI Crawl Control هست. این قابلیت‌ها بخشی از محصول CDN در nsin هستند.
برای شروع، دامنه‌تان را در پنل nsin باز کنید، صفحه‌های مهم را در تستر Optimization بسنجید و اگر عددها به دردتان می‌خورد، Markdown for Agents را روشن کنید.