- Veröffentlicht am
AI auf Kubernetes starten: Warum K8s flexibel genug ist — und warum ohne Plattform-Schicht (Scheduling, Serving, APIs) Training und Inference scheitern.
Ai
Alle Beiträge
- kubernetes (84)
- security (19)
- gpu (10)
- managed-kubernetes (10)
- compliance (9)
- platform-engineering (8)
ai (7)
- aks (6)
- dsgvo (6)
- zertifizierung (6)
- devops (6)
- kosten (6)
- hardening (6)
- ai-agents (5)
- zero-trust (5)
- rbac (5)
- managed-services (5)
- multi-tenancy (4)
- mlops (4)
- eks (4)
- machine-learning (4)
- tutorial (4)
- multi-cluster (4)
- best-practices (4)
- cloud (4)
- mittelstand (4)
- bsi (4)
- audit (4)
- nis2 (4)
- networking (4)
- inference (3)
- azure (3)
- kostenoptimierung (3)
- docker (3)
- container (3)
- dra (3)
- keycloak (3)
- service-mesh (3)
- mcp (3)
- service-accounts (3)
- backup (3)
- kube-bench (3)
- trivy (3)
- gke (3)
- hochverfügbarkeit (3)
- vllm (3)
- ingress (3)
- Veröffentlicht am
GPUs unter Kubernetes verstehen: CDI statt NVIDIA-Docker, Time-Slicing vs. MPS vs. MIG und DRA als flexible Alternative zu den Device-Plugins.- Veröffentlicht am
Kubernetes wird Accelerator Native: DRA, LLMD, Disaggregated Serving und Inference Gateway für produktive GenAI-Workloads — was Plattform-Teams jetzt brauchen.- Veröffentlicht am
LLM-D verteilt Inference über Kubernetes: Prefill/Decode trennen, KV-Cache nutzen, intelligent routen — niedrigere Latenz und bessere GPU-Kosten.- Veröffentlicht am
Open-Source-AI-Stack auf Kubernetes: Ray, PyTorch und vLLM als unabhängige Architektur — Schichten, Rollen und wann Self-Hosting sich lohnt.