Solution Market
Kostenlose Lösungen Lösung finden Exklusive Lösungen Punkte aufladen Anmelden Registrieren

LLMKube

awesome-selfhosted Generative KI

Kubernetes-Operator für selbst gehostete LLM-Inferenz mit austauschbaren Runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), Multi-GPU-Sharding, Unterstützung für NVIDIA CUDA + Apple Silicon Metal und OpenAI-kompatibler API.

KI-Übersetzung · Original anzeigen

Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.

Lizenzen

Plattformen

GoDockerK8S

awesome-selfhosted (CC-BY-SA 3.0) · erfasst am 2026-10-12 · Die Liste kostenloser Lösungen basiert auf Daten von awesome-selfhosted (CC-BY-SA 3.0) und awesome-sysadmin (CC-BY-SA 4.0); das Urheberrecht an jedem Eintrag verbleibt beim jeweiligen Projekt.