Google, Microsoft, OpenAI и Anthropic поддержат единый запрет ИИ-обучения в robots.txt
Google, Microsoft и OpenAI заявили, что будут учитывать единую инструкцию в robots.txt, которая запрещает использовать содержимое сайта для обучения генеративного ИИ у всех участвующих провайдеров сразу. Anthropic уже начала реализацию, но ни одна компания пока не подтвердила, что читает черновик.
Главное в цифрах
- Microsoft начнёт учитывать новые настройки с 1 февраля 2027 года
- Google планирует запуск в начале 2027 года
- Ранжирование в Google и Bing не затрагивается
- Срок действия черновика истекает 3 мая 2027 года
Сейчас владельцу сайта приходилось писать отдельное правило для каждого ИИ-бота, и каждая компания использовала своё название. Новая инструкция работает иначе: сайт пишет обычную группу в robots.txt, но вместо имени краулера указывает так называемый «политический токен» __usage_ai-training. Google, Microsoft и OpenAI опубликовали свои материалы 30 октября 2026 года.
Сроки у компаний разные. Microsoft начнёт учитывать новые настройки с 1 февраля 2027 года и отказывается от старого метода. Google планирует запуск в начале 2027 года, а в Gemini новая инструкция будет также исключать сайт из ответов, которые ссылаются на веб-страницы. OpenAI заявила, что стремится внедрить сигнал «в ближайшие месяцы». Ранжирование в Google и Bing не затрагивается.
Что говорит черновик
Документ написал Кевин Келли, указанный с аффилиацией Anthropic. Черновик называется draft-kelley-aipref-training-preference-signal-00 и подготовлен для рабочей группы AIPREF в IETF. Он не вводит новых директив и не меняет синтаксис robots.txt: используется логика RFC 9309, опубликованного IETF в сентябре 2022 года.
Важная оговорка: правила, адресованныеWildcard-группе User-Agent: *, не считаются выражением предпочтения по обучению ИИ. Если в файле нет группы с __usage_ai-training, то предпочтение не выражено. Поэтому сайт, который сейчас блокирует всех ботов через User-agent: * и Disallow: /, по черновику ничего не сказал об обучении ИИ.
Ограничения
Черновик отдельно запрещает обратный вывод: если в файле есть только проприетарный токен, например Google-Extended, он не считается общим отказом для OpenAI или Microsoft. Кроме того, токен не управляет тем, что краулеру можно скачивать. Согласно черновику, предпочтения по использованию контента и сигналы управления трафиком независимы друг от друга.
Документ имеет статус Standards Track, последний раз обновлён 30 октября 2026 года и истекает 3 мая 2027 года.
