Anthropic запустила Message Threads для Claude: задержка на длинных диалогах ниже примерно на 35%
Anthropic выпустила Message Threads в публичной бете на платформе Claude. Новая функция снижает задержку на длинных диалогах: время до первого токена сокращается примерно на 35% для запросов объёмом от 500 тысяч до миллиона токенов.
Главное в цифрах
- Время до первого токена: примерно на 35% меньше для запросов от 500 тысяч до 1 миллиона токенов
- Срок жизни неактивного потока: пять минут
- Стоимость в токенах: без изменений
Что изменилось
До этого каждый API-запрос повторно передавал всю историю диалога. Message Threads отправляет только то, что появилось после последнего сообщения.
По данным Anthropic, время до первого токена сокращается примерно на 35% для запросов от 500 тысяч до миллиона токенов. Стоимость в токенах при этом не меняется, так как Claude по-прежнему читает всю историю диалога.
Потоки хранятся в памяти в зашифрованном виде между запросами и истекают через пять минут без активности.
Кто выиграет
Больше всего выиграют кодинг-агенты, агенты для работы с компьютером и сценарии с большим количеством документов или изображений.
Функция доступна на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud. Подробности есть в документации Anthropic.
