LLMKube
awesome-selfhosted
生成式 AI
用于自托管 LLM 推理的 Kubernetes operator，具有可插拔运行时（llama.cpp、vLLM、TGI、Ollama、vllm-swift）、多 GPU 分片、NVIDIA CUDA + Apple Silicon Metal 支持以及 OpenAI 兼容 API。
AI 翻译 · 查看原文(英文)
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
许可证
- Apache-2.0 Apache, Version 2.0
平台
GoDockerK8S
同一分类的免费解决方案
awesome-selfhosted (CC-BY-SA 3.0) · 2026-10-12 采集 · 免费解决方案列表基于 awesome-selfhosted（CC-BY-SA 3.0）与 awesome-sysadmin（CC-BY-SA 4.0）数据，各条目版权归相应项目所有。