Ollama

Lokale Ausfuehrung von Open-Source-LLMs.

Allgemeine Infos

Ollama ermoeglicht das Herunterladen und Ausfuehren von Open-Source-Sprachmodellen (Llama 3, Mistral, Phi, Gemma etc.) auf lokalem Hardware (CPU oder GPU). REST-API-kompatibel, Docker-faehig und ueber Open WebUI mit Browser-Oberflaeche nutzbar. Ideal fuer datensensible Szenarien ohne Cloud-Abhaengigkeit.

Kurzbeschreibung

Lokale Ausfuehrung von Open-Source-LLMs.

Lizenz & Verfügbarkeit

Kostenlos (Open Source); Hardware-Investition fuer GPU.

Weiterführende Links