LLMKube
awesome-selfhosted
생성형 AI
플러그인 방식의 런타임(llama.cpp, vLLM, TGI, Ollama, vllm-swift), 멀티 GPU 샤딩, NVIDIA CUDA + Apple Silicon Metal 지원, 그리고 OpenAI 호환 API를 갖춘 자체 호스팅 LLM 추론용 Kubernetes operator입니다.
AI 번역 · 원문(영어) 보기
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
라이선스
- Apache-2.0 Apache, Version 2.0
플랫폼
GoDockerK8S
같은 카테고리의 무료 솔루션
awesome-selfhosted (CC-BY-SA 3.0) · 2026-10-12 수집 · 무료 솔루션 목록은 awesome-selfhosted(CC-BY-SA 3.0) · awesome-sysadmin(CC-BY-SA 4.0) 데이터를 바탕으로 하며, 각 항목의 저작권은 해당 프로젝트에 있습니다.