Google предупредил: блокировка ботов в CDN может убрать товары из Shopping
Google предупредил владельцев сайтов: при переносе за CDN нагрузка краулеров на исходный сервер может резко вырасти, а попытка снизить её общей блокировкой ботов способна отрезать Googlebot от сайта. По словам компании, из-за этого страницы выпадают из поиска, а товары пропадают из Google Shopping и перестают работать в товарных объявлениях.
Главное в цифрах
- Дата публикации рекомендаций Google: 11 ноября 2026 года
- Длительность видео: 9 минут 17 секунд
- Google не публикует данных о частоте и размере всплесков нагрузки
- Пример из видео: 100 000 уникальных URL, каждый первый запрос промахивается мимо кэша
- Рекомендуемый срок ответов 429 или 503 при перегрузке: не больше одного-двух дней
Google опубликовал рекомендации 11 ноября 2026 года в блоге Google Search Central под названием «Moving to a CDN without overwhelming your origin (or blocking Googlebot)». Одновременно вышел пятый, финальный эпизод первого сезона YouTube-серии The Non-Canonical Cabinet, которую ведут Гэри Иллиес и Шери Праммавин. В видео объясняется, что сразу после переключения на CDN трафик краулеров к исходному серверу может резко подскочить.
Причина в том, как краулеры оценивают состояние сервера. Google следит за временем отклика хоста и постепенно повышает лимит пропускной способности, если сервер отвечает быстро и стабильно. Когда DNS начинает указывать на быстрый край сети CDN, время соединения и отклика резко падает. Для систем Google это выглядит так, будто сервер получил серьёзное аппаратное обновление, и краулеры наращивают частоту запросов.
Почему кэш не спасает
Новый CDN начинает работу с пустым кэшем. Первый запрос к любому URL на каждом граничном сервере становится промахом кэша: край сети должен вернуться к исходному серверу, получить ответ и только потом отдать его клиенту. Пользователи обычно обращаются к небольшому набору популярных страниц, которые быстро прогреваются. Краулеры работают иначе: они систематически обходят весь массив URL. В видео приводится пример: если краулер за короткое время пройдёт 100 000 уникальных адресов, каждый первый запрос пройдёт через origin-сервер.
Google уточняет, что краулеры не разгоняются мгновенно, а многие CDN включают встроенное ограничение темпа соединений, которое сглаживает всплески. Но, по словам компании, пока кэш края не прогрет, CDN не защищает origin полностью.
Что делать владельцам сайтов
Google советует пропускать проверенные краулеры Google и не включать общую блокировку ботов в панели CDN. Кэш стоит заранее прогреть до запуска, а при перегрузке сервера отдавать ответы 429 или 503 не дольше одного-двух дней. Перед переключением на CDN стоит проверить правила бот-защиты, особенно для сайтов с товарными фидами, так как блокировка может затронуть не только поиск, но и рекламу с товарными объявлениями.
