Solution Market
Бесплатные решения Найти решение Эксклюзивные решения Пополнить баллы Войти Регистрация

LLMKube

awesome-selfhosted Генеративный ИИ

Оператор Kubernetes для самостоятельно размещаемого вывода LLM с подключаемыми средами выполнения (llama.cpp, vLLM, TGI, Ollama, vllm-swift), шардингом на нескольких GPU, поддержкой NVIDIA CUDA + Apple Silicon Metal и API, совместимым с OpenAI.

Перевод ИИ · показать оригинал

Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.

Лицензии

Платформы

GoDockerK8S

awesome-selfhosted (CC-BY-SA 3.0) · собрано 2026-10-12 · Список бесплатных решений основан на данных awesome-selfhosted (CC-BY-SA 3.0) и awesome-sysadmin (CC-BY-SA 4.0); авторские права на каждую запись принадлежат её проекту.