KI & AI

Large Language Model (LLM)

Overview

Ein Large Language Model (LLM), deutsch großes Sprachmodell, ist ein KI-Modell, das in einem rechenintensiven Training aus sehr großen Textmengen statistische Zusammenhänge zwischen Wörtern und Sätzen lernt. Im Kern sagt es immer wieder das nächste Token voraus. Daraus entstehen Fähigkeiten wie Zusammenfassen, Übersetzen, Beantworten von Fragen, Klassifizieren oder Schreiben von Code. LLMs sind die Grundlage von Microsoft 365 Copilot, ChatGPT, GitHub Copilot und KI-Agenten.

Heutige LLMs basieren fast durchweg auf der Transformer-Architektur, die Google-Forscher 2017 im Paper „Attention Is All You Need“ vorgestellt haben. Viele aktuelle Modelle sind multimodal (Text, Bild, Audio), Reasoning-Modelle planen ihren Lösungsweg intern, bevor sie antworten. Man unterscheidet proprietäre Modelle, die nur per API nutzbar sind (z. B. die GPT-Familie von OpenAI, Gemini von Google, Claude von Anthropic), und Open-Weight-Modelle, deren Gewichte Du herunterladen und selbst betreiben kannst (z. B. gpt-oss von OpenAI, Llama von Meta, Mixtral von Mistral AI). In Microsoft Foundry umfasst der OpenAI-Katalog im Oktober 2026 unter anderem die Familien GPT-6, GPT-5.x, die o-Serie und gpt-oss.

Regulatorisch fallen Anbieter großer Sprachmodelle im EU AI Act in der Regel unter die Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI), die seit August 2025 gelten. Abgrenzung im Glossar: Token und Tokenizer beschreiben die Recheneinheit und ihre Zerlegung, Fine-Tuning und Quantisierung die Anpassung bzw. Verkleinerung eines Modells, RAG die Anreicherung mit Unternehmenswissen. Ollama und vLLM sind Laufzeitumgebungen für LLMs, Azure OpenAI und Microsoft Foundry Cloud-Zugänge. Ein KI-Agent ist ein LLM plus Anweisungen, Werkzeuge und Gedächtnis.

How it works

Vom Training bis zur Antwort:

  1. Pretraining: Das Modell lernt selbstüberwacht auf sehr großen Textsammlungen, das jeweils nächste Token vorherzusagen. Dabei werden Millionen bis Milliarden Parameter (Gewichte) eingestellt.
  2. Anpassung: Weiteres Training richtet das Modell auf Anweisungen, Dialoge und Sicherheitsregeln aus. Unternehmen können Modelle zusätzlich per Fine-Tuning auf eigene Aufgaben trimmen.
  3. Inferenz: Eine Anfrage wird in Tokens zerlegt, das Modell berechnet über den Attention-Mechanismus Zusammenhänge im gesamten Kontext und erzeugt die Antwort Token für Token.
  4. Kontextfenster: Systemanweisung, Verlauf, Dokumente und Antwort müssen gemeinsam ins Kontextfenster passen. Aktuelle Modelle der Reihen GPT-5.4, GPT-5.5 und GPT-6 in Microsoft Foundry bieten bis zu 1.050.000 Tokens.
  5. Einbindung: Anwendungen rufen das Modell per Cloud-API oder über einen lokalen Inferenzserver auf, ergänzen es per RAG um aktuelles Wissen und per Function Calling bzw. MCP um Werkzeuge.

Ein LLM kennt keine Ereignisse nach seinem Trainingsstand und keine Unternehmensdaten, solange die Anwendung sie nicht in den Kontext gibt.

Benefits

  • Ein Modell für viele Aufgaben: Zusammenfassen, Übersetzen, Klassifizieren und Codegenerierung ohne eigenes Training pro Aufgabe, weil die Aufgabe per Prompt beschrieben wird
  • Verarbeitung unstrukturierter Daten wie E-Mails, Verträge, Tickets oder Handbücher, die klassische Automatisierung nicht auswerten konnte
  • Bedienung in natürlicher Sprache senkt die Einstiegshürde für Fachabteilungen
  • Wahl zwischen Cloud-Modell und selbst betriebenem Open-Weight-Modell, je nach Datenschutzanforderung und Last
  • Grundlage für Agenten, die über Werkzeuge Aufgaben selbst erledigen, statt nur Text zu liefern

Practical example

Ein Hersteller von Industrieanlagen mit 250 Beschäftigten bekommt täglich Serviceanfragen per E-Mail auf Deutsch, Englisch und Französisch. Die IT lässt ein LLM über Azure OpenAI jede Anfrage zusammenfassen, der Anlage zuordnen und eine Dringlichkeit vorschlagen. Weil das Modell Seriennummern und Wartungsverträge nicht kennt, ergänzt eine RAG-Anbindung die Daten aus dem ERP-System. Die Servicemitarbeitenden erhalten fertige Ticketentwürfe und entscheiden selbst, statt jede Mail von Hand zu lesen und zu übersetzen.

Things to keep in mind

  • Halluzinationen einplanen: LLMs formulieren auch falsche Aussagen überzeugend, das BSI warnt ausdrücklich vor übermäßigem Vertrauen in die Ausgaben. Fakten über RAG mit Quellenangabe belegen lassen
  • Vor dem Einsatz eine Risikoanalyse für den konkreten Anwendungsfall durchführen, wie es das BSI empfiehlt, und den Umgang des Anbieters mit Eingabedaten vertraglich klären
  • Modellversionen haben kurze Lebenszyklen: Abkündigungen verfolgen und Anwendungen so bauen, dass ein Modellwechsel nur eine Konfigurationsänderung ist
  • Prompt Injection berücksichtigen, sobald das Modell fremde Inhalte liest oder Werkzeuge bedient
  • Bei Open-Weight-Modellen die Lizenzbedingungen der Gewichte beachten, einige Modelle haben Nutzungseinschränkungen

Conclusion

Das LLM ist der Baustein unter allen aktuellen KI-Anwendungen, von Copilot bis zum eigenen Agenten. Wer berücksichtigt, dass es Wahrscheinlichkeiten statt gesicherter Fakten liefert, plant RAG, Kontrollschritte und Berechtigungen von Anfang an richtig.

Further reading

Related articles