KI & AI

Ollama

Overview

Ollama ist ein Laufzeitwerkzeug für offene Sprachmodelle unter Windows, macOS und Linux sowie als Docker-Image. Mit einem Befehl lädt es ein Modell aus der Ollama-Bibliothek (z. B. Gemma, Qwen, DeepSeek, gpt-oss, Llama, Mistral) und stellt es über eine REST-API und die Kommandozeile bereit. Typische Einsätze sind interne Chat-Assistenten, RAG-Prototypen, Codeassistenten in der IDE und datensensible Szenarien, in denen keine Daten das Haus verlassen sollen.

Ollama ist ein Backend ohne eigene Mehrbenutzer-Oberfläche. Für den Browser-Chat kommt meist Open WebUI davor, für hohen parallelen Durchsatz im Produktivbetrieb eher ein Inferenzserver wie vLLM.

Neu gegenüber älteren Darstellungen: Ollama bietet inzwischen neben den lokalen Modellen gehostete Cloud-Modelle an, die ohne eigene GPU laufen und über Nutzungsguthaben abgerechnet werden. Außerdem gibt es kompatible Schnittstellen für OpenAI- und Anthropic-Clients, dadurch lassen sich Werkzeuge wie VS Code, Claude Code, Codex CLI oder n8n direkt anbinden.

How it works

Ollama kapselt Modellverwaltung und Inferenz:

  1. Installation per Installer, Paket oder Container (Image ollama/ollama).
  2. Mit „ollama pull“ bzw. „ollama run“ wird ein Modell heruntergeladen, meist in quantisierter Form, damit es in den verfügbaren VRAM passt.
  3. Der Dienst lauscht standardmäßig auf localhost Port 11434 und bietet Endpunkte für Chat, Generierung und Embeddings, zusätzlich OpenAI- und Anthropic-kompatible Routen.
  4. Über eine Modelfile lassen sich Systemprompt, Parameter und Kontextlänge festlegen und als eigenes Modell speichern, eigene Gewichte werden per Import eingebunden.

Unterstützt werden unter anderem Streaming, Tool Calling, strukturierte Ausgaben, Vision-Modelle, Thinking und Embeddings. Ollama nutzt NVIDIA- und AMD-GPUs sowie Apple Silicon und fällt sonst auf die CPU zurück.

Benefits

  • Volle Datenkontrolle bei lokalen Modellen, weil Prompts und Dokumente den eigenen Server nicht verlassen
  • Sehr geringe Einstiegshürde: Ein Befehl genügt, um ein Modell zu testen, das beschleunigt Proof of Concepts
  • OpenAI- und Anthropic-kompatible API, dadurch funktionieren viele bestehende Tools ohne Umbau
  • Keine Lizenzkosten für die Software (MIT-Lizenz), die Kosten liegen bei Hardware und Betrieb

Practical example

Ein Ingenieurbüro mit 60 Beschäftigten darf Projektunterlagen vertraglich nicht an Cloud-Dienste übermitteln. Die IT installiert Ollama auf einem Server mit einer Workstation-GPU, lädt ein mittelgroßes quantisiertes Modell und ein Embedding-Modell und stellt Open WebUI davor. Die Mitarbeitenden fassen Ausschreibungen zusammen und durchsuchen Normen per RAG, ohne dass Daten das Firmennetz verlassen. Für rechenintensive Aufgaben bleibt die Cloud-Option bewusst deaktiviert.

Things to keep in mind

  • Port 11434 nie ungeschützt ins Netz stellen: Die lokale API hat ohne vorgeschalteten Proxy keine Benutzerverwaltung
  • Cloud-Modelle sind laut Ollama vorrangig in den USA gehostet: Für personenbezogene Daten nur lokale Modelle nutzen oder vorher datenschutzrechtlich bewerten
  • Modellgröße und Quantisierung an den VRAM anpassen, sonst lagert Ollama auf die CPU aus und wird deutlich langsamer
  • Modelllizenzen prüfen: Ollama selbst ist MIT-lizenziert, die Modelle haben jeweils eigene Lizenzen mit teils kommerziellen Einschränkungen
  • Die Kontextlänge bewusst setzen, weil sie den Speicherbedarf direkt erhöht

Licensing & availability

Software Open Source unter MIT-Lizenz, lokaler Betrieb ohne Nutzungslimit kostenlos. Für Cloud-Modelle gibt es die Pläne Free (Startguthaben), Pro, Max, Team (Early Access) und Enterprise, abgerechnet über tokenbasierte Nutzungsguthaben. Die Lizenzbedingungen der einzelnen Modelle gelten zusätzlich. Stand: Oktober 2026.

Conclusion

Ollama ist der schnellste Weg zu lokal laufenden Sprachmodellen und ideal für Pilotprojekte und kleine Teams. Für viele parallele Benutzer plane zusätzlich einen Inferenzserver und eine abgesicherte Oberfläche ein.

Further reading

Related articles