گوگل روز ۸ آبان ۱۴۰۵ (۳۰ اکتبر ۲۰۲۶) اعلام کرد که قرار است در robots.txt از یک «کنترل مشترکِ آموزشِ هوش مصنوعی» پشتیبانی کند. صاحبِ سایت با یک خط می‌تواند بگوید محتوایش برای آموزشِ مدل‌ها استفاده نشود و این پیام برای چند شرکتِ هوش مصنوعی یک‌جا معتبر باشد. فعلاً فقط برنامه است: گوگل میگوید هدفش پشتیبانی از این کنترل در سال ۲۰۲۷ است و تا آن موقع چیزی در سایتِ شما عوض نمی‌شود.
این کنترل مشترک دقیقاً چیست و از کجا آمده؟
پایه‌اش کارِ گروهِ AIPREF در IETF است؛ همان نهادی که استانداردهای اینترنت را می‌نویسد. این گروه دنبال یک زبانِ مشترک است تا سایت‌ها ترجیحشان درباره‌ی استفاده از محتوا را به شکلِ ماشین‌خوان اعلام کنند. گوگل از این کار فعلاً فقط تعریفِ «آموزشِ هوش مصنوعی» را برداشته، چون به گفته‌ی خودش بقیه‌ی واژگانِ AIPREF هنوز در بحث است.
تا امروز هر شرکت توکنِ خودش را داشت. گوگل Google-Extended را از ۲۰۲۳ داده است. اگر می‌خواستید همه را ببندید، باید فهرستِ توکن‌های چند شرکت را جداگانه می‌نوشتید و هر بار که شرکتی توکنِ تازه می‌آورد، فایل را به‌روز می‌کردید. توکنِ مشترک قرار است این را به یک قاعده برساند.
گوگل با این توکن چه میکند؟
طبق توضیحِ گوگل، اگر سایتی در robots.txt از آموزش انصراف بدهد و Google-Extended را جداگانه ننوشته باشد، گوگل آن را مثلِ Disallow برای Google-Extended می‌خواند. اگر Google-Extended صریح آمده باشد، همان مقدم است و کنترل‌های اختصاصیِ هر شرکت کنارِ سیگنالِ مشترک کار می‌کنند. در مستنداتِ گوگل نشانه‌ی این سیگنال با عبارتِ user-agent: __usage_ai-training آمده و تأکید شده که پشتیبانی‌اش برای اوایلِ ۲۰۲۷ برنامه‌ریزی شده است. چون هنوز پیش‌نویس است، قبل از استفاده نگارشِ نهایی را در همان مستندات ببینید.
گوگل میگوید شرکتهای دیگر هم می‌توانند همین‌طور رفتار کنند. این وعده است، تعهدِ مکتوب نیست؛ هیچ شرکتِ دیگری را در منبعِ گوگل نام نبرده‌اند و من هم ادعایی از جانبشان نمی‌کنم.
انصراف از آموزش روی حضور در جستجوی گوگل اثر دارد؟
نه. گوگل صریح نوشته Google-Extended روی حضور در جستجو اثر ندارد و سیگنالِ رتبهبندی هم نیست. یک نکته‌ی ظریف هست: سایت‌هایی که Google-Extended را صریحاً مجاز کرده باشند، واجدِ شرایطِ نمایش در پاسخ‌های Gemini و دریافتِ کلیک از طریق grounding هستند. پس بستنِ کامل بی‌هزینه نیست، حتی اگر جستجوی معمولی را خراب نکند.
| وضعیت | معنایش |
|---|---|
| Google-Extended مجاز | محتوا می‌تواند برای آموزشِ Gemini استفاده شود و سایت واجدِ نمایش در پاسخ‌های Gemini است |
| Google-Extended ممنوع | محتوا برای آموزشِ Gemini استفاده نمی‌شود؛ جستجوی گوگل تغییری نمی‌کند |
| فقط توکنِ مشترک (از ۲۰۲۷، اگر اجرایی شود) | گوگل آن را معادلِ ممنوع‌کردنِ Google-Extended می‌گیرد |
صاحبِ یک سایتِ ایرانی الان باید چه کند؟
عجله لازم نیست. سه کارِ کوچک کافی است:
- فایلِ robots.txt سایتتان را باز کنید و ببینید الان چه چیزی در آن هست. بسیاری از سایت‌های شرکتی سال‌ها دستش نزده‌اند.
- تصمیمتان را با خودِ کسب‌وکار بگیرید: محتوای تخصصی‌تان را می‌خواهید در پاسخ‌های هوش مصنوعی دیده شود یا نه؟ برای بیشترِ کسب‌وکارهای خدماتی، دیده‌شدن مهم‌تر از پنهان‌ماندن است.
- اگر تصمیم گرفتید ببندید، همین حالا با Google-Extended ببندید؛ لازم نیست منتظرِ ۲۰۲۷ بمانید.
User-agent: Google-Extended
Disallow: /این بخش با بحثِ دیده‌شدن در پاسخ‌های هوش مصنوعی گره خورده است؛ تحلیلِ اثرِ AI Overview بر ترافیک را اینجا نوشته‌ایم و اگر ساختارِ فنی سایتتان را باید مرور کنید، خدمات سئو جای مناسبی برای شروع است.
برداشتِ من
راستش اعلامِ این خبر برایم از خودِ توکن مهم‌تر است: گوگل دارد پذیرفتن یک استانداردِ مشترک را علنی میکند. ولی دو جا تردید دارم. اول اینکه هنوز معلوم نیست چه کسی دیگر می‌پیوندد، و استانداردی که فقط یک طرف اجرایش کند همان Google-Extended است با اسمِ جدید. دوم اینکه robots.txt بر پایه‌ی حسنِ نیتِ خزنده‌ها کار میکند و راهِ اجبار ندارد. اگر جای صاحبِ یک سایتِ شرکتی بودم، فعلاً تصمیمِ «بستن یا نه» را روی کاغذ می‌نوشتم و منتظرِ نگارشِ نهایی می‌ماندم. من این کنترل را هنوز آزمایش نکرده‌ام و نمی‌شود هم کرد، چون هنوز عرضه نشده است.
سؤالات پرتکرار
کنترلِ مشترکِ آموزشِ هوش مصنوعی گوگل کِی فعال می‌شود؟
گوگل گفته هدفش پشتیبانی از این کنترل در ۲۰۲۷ است و در مستنداتش از «اوایلِ ۲۰۲۷» حرف زده. تاریخِ قطعی اعلام نشده و فعلاً فقط Google-Extended کار میکند.
با این کنترل رتبهام در جستجوی گوگل افت میکند؟
طبق مستنداتِ گوگل، Google-Extended روی حضور در جستجو و رتبهبندی اثر ندارد. فقط مشخص میکند محتوای شما برای آموزش یا grounding مدلهای Gemini استفاده شود یا نه.
این کنترل برای همهی شرکتهای هوش مصنوعی کار میکند؟
هنوز نه. گوگل میگوید امیدوار است شرکتهای دیگر هم حمایت کنند، ولی فعلاً هیچ شرکتِ دیگری در منبعِ گوگل نام برده نشده است.
منابع
- Supporting a shared AI training control for websites — Google Search Central Blog
- Google common crawlers (Google-Extended) — Google Search Central
- AI Preferences (aipref) working group — IETF Datatracker
