nanochat: Минимальный экспериментальный фреймворк для обучения LLM на одном GPU-узле

Чем полезно

Охватывает токенизацию, претрейнинг, файнтюнинг, оценку и инференс в компактном хакабельном коде. Один параметр --depth автоматически подбирает остальные гиперпараметры, а модель уровня GPT-2 можно обучить примерно за $48 на 8XH100.

Главные возможности

• Полный цикл: токенизация, претрейнинг, файнтюнинг, оценка, инференс
• Один параметр --depth задаёт всю серию оптимальных моделей
• Таблица лидеров «Time-to-GPT-2» для сообщества

Для кого

Исследователи и инженеры, которые хотят понять и обучить свою LLM

Как начать

bash runs/speedrun.sh