LiteLLM: Open-source AI Gateway с единым интерфейсом к 100+ LLM в формате OpenAI.
Open-source AI Gateway с единым интерфейсом к 100+ LLM в формате OpenAI.
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 60,9 тыс.
- Язык: Python
Чем полезно
Убирает разницу между SDK и форматами разных провайдеров: один вызов OpenAI-формата работает с Anthropic, Bedrock, Azure, Vertex и другими. Прокси добавляет виртуальные ключи, учёт расходов, guardrails и балансировку нагрузки для команды.
Главные возможности
- Единый OpenAI-совместимый API для 100+ провайдеров
- Прокси-сервер с виртуальными ключами, учётом расходов и балансировкой
- Поддержка A2A-агентов и MCP-серверов через шлюз
Для кого
Разработчики и команды, работающие с несколькими LLM-провайдерами
Как начать
uv add litellm
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram