OpenAI и Cloudflare: пилот помог ChatGPT Search найти сотни миллионов новых страниц
Cloudflare и OpenAI сообщили, что исследовательский пилот помог OpenAI обнаружить и проиндексировать сотни миллионов новых веб-страниц. В пилоте участвовала группа примерно из 1% всей сети Cloudflare.
Главное в цифрах
- Доля сети Cloudflare, участвовавшая в пилоте: около 1%
- Объявление пилота Cloudflare: 8 июля
- Публикация с результатами: 15 октября
Результаты компании опубликовали 15 октября в записи в блоге Cloudflare, написанной в соавторстве с двумя сотрудниками OpenAI. О пилоте Cloudflare объявила 8 июля.
Сигналы сети Cloudflare помогают поисковому краулеру OpenAI находить страницы, которые могут быть полезны, даже если на них мало внешних ссылок. В качестве примеров приводятся инструкция к конкретной стиральной машине, актуальные требования к загранпаспорту и пошлины, а также меню ресторана и часы работы.
Какие сигналы тестируются
Помимо поиска новых страниц, компании тестируют сигналы о том, как недавно страница обновлялась, каком качестве трафика идёт на сайт и какие изменения были внесены в страницу.
Отдельно проверяются сигналы для отметки потенциально вредоносных страниц. В качестве примера приводится поддельная форма входа, которую злоумышленник разместил на одной странице легитимного сайта. Цель в том, чтобы отмечать именно эту страницу, а не весь домен. По словам компаний, ранние результаты показывают, что такие сигналы помогают определять страницы, которые стоит исключить из индекса.
Cloudflare и OpenAI говорят, что сигналы об изменениях помогут краулерам не делать лишних запросов: например, к несуществующим файлам или адресам, которые перенаправляют на главную страницу или ведут к копиям одного и того же контента.
Что это значит для владельцев сайтов
Компании заявляют, что цель в снижении лишней нагрузки на серверы, однако цифр по объёму обхода и нагрузке не приводят. Также не сообщается, сколько новых страниц было процитировано в ChatGPT и сколько визитов они принесли. Кроме того, в записи отмечается, что обнаружение новых страниц может сначала увеличить объём обхода.
По словам компаний, OpenAI самостоятельно оценивает и ранжирует проиндексированные страницы, поэтому попадание в пилот не гарантирует цитирования. Для владельцев сайтов это означает, что страницы с актуальным содержимым могут получить больше шансов попасть в поиск ChatGPT. Блокировка OAI-SearchBot по-прежнему исключает сайт из результатов поиска ChatGPT, а GPTBot отвечает за сбор данных, которые могут использоваться для обучения моделей.
