KI & AI

vLLM

Overview

vLLM ist eine Open-Source-Bibliothek für die Inferenz und das Bereitstellen (Serving) großer Sprachmodelle. Entstanden ist das Projekt im Sky Computing Lab der UC Berkeley, heute tragen es Hochschulen und Unternehmen mit über 2.000 Mitwirkenden. vLLM unterstützt über 200 Modellarchitekturen von Hugging Face, darunter dichte LLMs, Mixture-of-Experts-Modelle, multimodale Modelle sowie Embedding- und Klassifikationsmodelle.

Typischer Einsatz ist der produktive Betrieb offener Modelle auf eigenen GPU-Servern oder Cloud-GPUs, wenn viele Benutzer oder Anwendungen gleichzeitig zugreifen: interne Chat-Assistenten, RAG-Backends, Agenten oder die Stapelverarbeitung von Dokumenten. Anwendungen sprechen vLLM über einen OpenAI-kompatiblen Server an, zusätzlich gibt es eine Schnittstelle im Format der Anthropic Messages API und gRPC.

Abgrenzung: Ollama zielt auf einfache Installation auf Arbeitsplatz oder Einzelserver, vLLM auf hohen parallelen Durchsatz im Rechenzentrum. Open WebUI ist eine Benutzeroberfläche und kein Inferenzdienst. Der Eintrag Lokale KI-Infrastruktur beschreibt das Gesamtbild aus Hardware, Inferenzdienst und Oberfläche. Das Projekt entwickelt sich schnell, im Oktober 2026 ist Version 0.32.0 aktuell.

How it works

vLLM holt den Durchsatz vor allem aus der Speicherverwaltung auf der GPU:

  1. PagedAttention verwaltet den Key-Value-Cache (KV-Cache) der Attention-Berechnung in Blöcken. Dadurch bleibt weniger GPU-Speicher ungenutzt, und mehr Anfragen passen gleichzeitig auf die Karte.
  2. Continuous Batching nimmt neue Anfragen laufend in die Verarbeitung auf, statt auf das Ende eines Stapels zu warten. Prefix Caching verwendet gemeinsame Prompt-Anfänge wie identische Systemanweisungen wieder.
  3. Quantisierung in Formaten wie FP8, INT8, INT4, GPTQ, AWQ oder GGUF senkt den Speicherbedarf großer Modelle.
  4. Tensor-, Pipeline-, Daten- und Expert-Parallelismus verteilen ein Modell auf mehrere GPUs oder Server, Speculative Decoding beschleunigt die Token-Erzeugung.
  5. Der OpenAI-kompatible API-Server stellt das Modell bereit, inklusive Streaming, strukturierter Ausgaben und Tool-Calling.

Unterstützt werden NVIDIA- und AMD-GPUs sowie x86-, ARM- und PowerPC-CPUs, über Plugins zusätzlich Google TPUs, Intel Gaudi, Huawei Ascend und Apple Silicon. Installiert wird vLLM als Python-Paket per uv oder pip.

Benefits

  • Hoher Durchsatz bei vielen parallelen Anfragen durch PagedAttention und Continuous Batching, dadurch bedient eine GPU mehr Benutzer
  • OpenAI-kompatible Schnittstelle: Anwendungen und SDKs, die für die OpenAI-API gebaut sind, lassen sich meist über eine geänderte Basis-URL anbinden
  • Breite Modell- und Hardwareunterstützung verringert die Abhängigkeit von einem einzelnen Modell- oder GPU-Hersteller
  • Apache-2.0-Lizenz ohne Nutzungsgebühren, auch für den kommerziellen Einsatz
  • Skalierung von einer GPU bis zu mehreren Servern mit derselben Software

Practical example

Eine Steuerberatungskanzlei mit 60 Beschäftigten darf Mandantendaten nicht an Cloud-Dienste geben und betreibt bisher einen Ollama-Server für einige Pilotnutzer. Als alle Mitarbeitenden den internen Assistenten nutzen sollen, steigen die Antwortzeiten zu Stoßzeiten stark an. Der IT-Dienstleister stellt auf vLLM auf einem Server mit zwei GPUs um, betreibt ein quantisiertes Open-Weight-Modell per Tensor-Parallelismus und behält Open WebUI als Oberfläche, die nun den OpenAI-kompatiblen Endpunkt von vLLM nutzt. Durch Continuous Batching bleiben die Antwortzeiten auch bei vielen gleichzeitigen Anfragen stabil.

Things to keep in mind

  • Den API-Server nicht ungeschützt erreichbar machen: Zugriff über Reverse Proxy mit Authentifizierung und Firewall-Regeln begrenzen
  • Updates vorab in einer Testumgebung einspielen: Releases bringen regelmäßig Breaking Changes, mit 0.32.0 etwa das Ende der Unterstützung für Python 3.10 und eingeschränkte CORS-Standardwerte
  • GPU-Speicher für Modell und KV-Cache einplanen: Kontextlänge und Zahl paralleler Anfragen bestimmen den Bedarf ebenso wie die Modellgröße
  • Lizenz des Modells getrennt bewerten: vLLM selbst steht unter Apache 2.0, die Modellgewichte haben eigene Lizenzbedingungen
  • Für wenige Benutzer oder Tests auf einem Notebook ist Ollama meist einfacher, vLLM lohnt sich im parallelen Produktivbetrieb

Licensing & availability

Open Source unter Apache-2.0-Lizenz, kostenfrei, auch für die kommerzielle Nutzung. Kosten entstehen für Hardware, Strom und Kühlung bzw. für Cloud-GPU-Instanzen. Die Lizenzbedingungen der betriebenen Modelle gelten zusätzlich. Stand: Oktober 2026.

Conclusion

vLLM ist eine naheliegende Wahl, wenn offene Sprachmodelle on-premises oder in der eigenen Cloud viele Benutzer gleichzeitig bedienen sollen. Für Pilotprojekte reicht oft Ollama, für den Produktivbetrieb unter Last plane vLLM ein.

Further reading

Related articles