AirLLM: Библиотека для запуска больших языковых моделей (до 70B и выше) на одной GPU с малой памятью.

Чем полезно

Позволяет запускать модели 70B на видеокарте 4 ГБ без квантования, дистилляции и обрезки, загружая слои по очереди. Удобно, когда своей памяти GPU не хватает, но диск достаточно большой.

Главные возможности

• Инференс 70B на GPU 4 ГБ без квантования
• Загрузка через единый AutoModel по repo ID Hugging Face
• Поддержка обучения крупных моделей на малой VRAM

Для кого

Разработчики и исследователи, работающие с LLM на ограниченном железе

Как начать

pip install airllm