یه خط توی robots.txt که به هوش مصنوعی می‌گه: سایت من رو برای آموزش برندار
۱۹ آبان ۱۴۰۵ · ۲:۳۶ دقیقه
درباره‌ی این ویدیو
OpenAI، گوگل، مایکروسافت و Anthropic گفتن یه خط مشترک توی robots.txt سایت رو رعایت می‌کنن که می‌گه محتوای این سایت برای آموزش هوش مصنوعی نیست. تا حالا باید برای هر شرکت جدا دستور می‌نوشتی؛ با این خط، یه بار. فعلاً یه پیش‌نویسه که یه نفر از Anthropic به IETF (گروهی که استانداردهای اینترنت رو می‌نویسه) داده، نه یه استاندارد نهایی.
📝 خطش این شکلیه:User-Agent: __usage_ai-trainingDisallow: /
🗓️ کی اجرا می‌شه؟ (به گفتهٔ خودشون، بررسی: ۹ آبان ۱۴۰۵)• Anthropic: اجراش رو شروع کرده، ولی طول می‌کشه• OpenAI: توی چند ماه آینده (به گزارش The Verge)• گوگل: اوایل ۲۰۲۷• مایکروسافت: از ۱ فوریهٔ ۲۰۲۷• Meta: ازش حمایت کرده، ولی نگفته رعایتش می‌کنه یا نه
🔍 دیده شدنت چی می‌شه؟• گوگل: روی حضور و رتبه‌ت توی جستجوی گوگل اثری نداره؛ ولی این خط رو مثل بستن Google-Extended می‌خونه، یعنی نه آموزش Gemini، نه حضور توی جواب‌های اپ Gemini. اگه می‌خوای اونجا باشی، Google-Extended رو جدا Allow کن؛ ولی Google-Extended هم آموزش رو شامل می‌شه هم جواب‌ها، پس پیش گوگل این دو تا از هم جدا نمی‌شن• مایکروسافت: حضورت توی نتیجه‌های Bing عوض نمی‌شه؛ آموزش و «جواب‌های هوش مصنوعی» (Bing، Copilot، Microsoft 365) دو تنظیم جدان. می‌تونی آموزش رو ببندی و توی جواب‌ها بمونی (تنظیم جواب‌ها صفحه‌به‌صفحه‌ست، با تگ meta)• اگه الان از NoArchive یا NoCache برای این کار استفاده می‌کنی، مایکروسافت گفته تا ۱ مارس ۲۰۲۷ تنظیم جدید رو بذار
🧪 تست ما: این خط رو روی یه robots.txt آزمایشی خودمون نوشتیم و با دو تا برنامه‌ای که robots.txt می‌خونن (Protego و کتابخونهٔ خود پایتون) چک کردیم: رباتای جستجو (Googlebot و Bingbot) همه‌جا مجاز موندن، برای آموزش جواب «نه» بود، جز پوشه‌ای که باز گذاشتیم. اینکه شرکت‌ها واقعاً رعایتش کنن تست نشده، چون هنوز کامل اجرا نشده.
⚠️ واقعیتش:• یه درخواسته، نه قفل؛ رباتی که قبولش نکرده می‌تونه نادیده‌ش بگیره• فقط برای از این به بعده، نه چیزی که قبلاً برداشتن• قانون «User-Agent: *» توی فایلت، برای این خط حساب نمی‌شه؛ تا خود این خط رو ننویسی، نظری ندادی. و مایکروسافت نوشته پیش‌فرضش «اجازه» است
🔁 قسمت‌های قبلی: مهارت امنیتی Cloudflare رو تست کردیم https://www.youtube.com/shorts/QpK2ggYIzls · ۵۰ تا AI agent توی ماینکرفت https://www.youtube.com/shorts/R53fEZU8qSo
🔗 پیش‌نویس IETF: https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/🔗 راهنمای گوگل: https://developers.google.com/search/blog/2026/10/ai-training-control🔗 راهنمای مایکروسافت: https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/🔗 خبر The Verge: https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out
لینک‌ها همین‌جاست، راحت برشون دار؛ برای حمایت از ما یه کامنت معنادار برامون بذار، مرسی.
🤔 دوست داری محتوای سایتت به هوش مصنوعی‌ها یاد داده بشه یا نه؟ چرا؟
📺 ویدئوهای کامل توی یوتیوب: https://www.youtube.com/channel/UCUqCogNdv3t6xi78zi-gvHA🤝 می‌خوای هوش مصنوعی رو توی کسب‌وکارت پیاده کنی؟ https://mrmp.pro#هوش_مصنوعی #سئو #robots