NVIDIA и AI4Bharat выпускают датасет на 2,8 трлн токенов для 22 языков Индии
NVIDIA вместе с IIT Madras и AI4Bharat готовит к выпуску Nemotron-pretraining-Indic-v1: около 2,8 трлн токенов на 22 языках, перечисленных в Конституции Индии. Вместе с датасетом открыт и конвейер генерации, который команды смогут адаптировать под свои источники.
Главное в цифрах
- Объём корпуса: около 2,8 трлн токенов
- Языков: 22, конфигураций языка и письма: 34
- Носители языков: около 1,2 млрд человек (97% населения по переписи 2011 года)
- Токенов на нативном письме: 2601,0 млрд; в романизации: 224,6 млрд
- Порог принятия перевода: 75 баллов из 100
По переписи 2011 года эти языки являются родными для 97% населения Индии, то есть примерно для 1,2 млрд человек. Корпус включает нативные письменности для всех 22 языков и романизированный текст для двенадцати. Всего получается 34 конфигурации языка и письма.
Синтетические данные созданы переводом английских материалов по математике, коду и вопросам с ответами. Каждый результат проверяется по исходному документу. Для разработчиков моделей это заметное расширение открытых данных, где нехватка материала остаётся главным ограничением.
Как устроен конвейер
Для двенадцати языков документы переводятся целиком, чтобы модель учитывала контекст между абзацами, таблицами и формулами. Переводы оцениваются по рубрике, вдохновлённой MQM, и сохраняются только при оценке не ниже 75 из 100. Низкие результаты исправляются и проверяются повторно. Для романизации берутся принятые переводы на нативном письме, которые затем переводятся в латиницу.
Для остальных десяти языков используется отдельный рабочий процесс Indic Translate. Каждый идентификатор исходного документа сохраняется, чтобы результат можно было проследить до оригинала.
Контекст
AI4Bharat, лаборатория IIT Madras, создаёт открытые датасеты и модели для индийских языков. Её корпус Sangraha, включающий 22 языка, стал одной из основ открытых исследований языковых моделей для индийских языков. По словам Митеш Кхапры, который возглавляет AI4Bharat, индийские языковые технологии отстают от английских, потому что для них не хватает данных.
В NVIDIA сообщили, что датасет использовали для дообучения Nemotron 3.5 Super VL: 10 млрд токенов индийского текста были взяты из двенадцатиязычного подмножества корпуса и из естественных текстов на индийских языках.
