gputaskman: Терминальный монитор GPU, показывающий, что именно занимает видеопамять.

Чем полезно

Диспетчер задач показывает только общий объём занятой VRAM. Этот инструмент связывает память и активность процессов с загруженными рантаймами, файлами моделей и разбивкой буферов LLM, включая KV-кэш.

Главные возможности

• Память и загрузка GPU по каждому процессу
• Разбивка буферов LLM и KV-кэша по GGUF (оценка)
• Работает на Windows, Linux, WSL и macOS на Apple Silicon

Для кого

Разработчики и инженеры, которые запускают локальные модели и ML-нагрузки на GPU

Как начать

uv tool install gputaskman