FreeToken: Движок инференса MoE-моделей для запуска больших open-weight моделей на домашнем железе

Чем полезно

Позволяет запускать крупные MoE-модели (например, DeepSeek-V4-Flash, Qwen3.6-35B-A3B) на игровом ПК, распределяя нагрузку между GPU, CPU и оперативной памятью. Проект подаётся как альтернатива облачному инференсу и требует только потребительского железа.

Главные возможности

• Совместное исполнение на CPU и GPU с адаптивной пропускной способностью
• Динамическое перераспределение VRAM между кэшем экспертов и KV-памятью
• API, совместимые с Anthropic и OpenAI, для агентов и кодинга

Для кого

Разработчики и исследователи с локальным GPU, желающие запускать крупные модели

Как начать

uv pip install "freetoken[accel]"