Meta тихо тестирует подпись Web Bot Auth для агентов Muse и Meta-WebIndexer
Meta с середины октября подписывает часть веб-запросов своего персонального агента Muse и краулера Meta-WebIndexer криптографической подписью по протоколу Web Bot Auth. Об этом по своим наблюдениям сообщил Жером Сегура, вице-президент DataDome по исследованию угроз. Официального объявления Meta не делала.
Главное в цифрах
- Начало подписи запросов Meta: около 12 октября
- Запросов Muse от DataDome за период с 22 сентября по 3 октября: 29,1 млн
- Доля Muse среди агентных браузерных запросов в сентябре по данным DataDome: 33%
- Доля запросов Muse из облачной и CDN-инфраструктуры по данным DataDome: 99,3%
Подпись позволяет сайту проверить, что визит действительно пришёл от Meta, а не от подделки. По словам Сегуры, с 12 октября Meta постепенно увеличивает число подписанных запросов как минимум для двух своих агентов. Он написал, что, насколько ему известно, поначалу такие запросы могли помечаться user-agent-строкой Meta-ExternalTest.
В публичной документации краулеров Meta, по состоянию на 31 октября, агента Meta-ExternalTest нет, а о Web Bot Auth, подписях HTTP-сообщений и каталоге ключей не упоминается. Единственный описанный там способ проверки основан на IP-адресах.
Подписаны пока немногие запросы
Сегура отметил, что подписанных запросов от Meta по-прежнему немного, поэтому для полного покрытия сайтам нужно фингерпринтинг на стороне клиента. Он не привёл ни количества, ни доли подписанных запросов и не разделил их по агентам. DataDome, по его словам, уже добавил поддержку проверки запросов Web Bot Auth от Meta для своих клиентов.
Сам протокол находится на пути к стандарту. Web Bot Auth является профилем HTTP Message Signatures (RFC 9421, февраль 2024 года). Рабочая группа IETF приняла его черновик 1 сентября 2026 года.
Контекст
Muse с момента американского запуска 8 сентября имеет проблему с идентификацией. В течение двух недель Amazon заблокировал агента на Amazon.com, в том числе из-за того, что он не представлялся при просмотре сайтов. По данным DataDome, 99,3% запросов Muse приходят из облачной и CDN-инфраструктуры, поэтому проверить их по происхождению сложнее, и подпись становится одним из немногих доступных способов проверки.
Подпись говорит только о том, кто отправил запрос, но не о том, зачем и будет ли агент вести себя корректно.
