KI & AI

Retrieval-Augmented Generation (RAG)

Overview

Retrieval-Augmented Generation (RAG) erweitert ein Sprachmodell um einen Suchschritt: Zu jeder Frage werden relevante Textstellen aus eigenen Quellen (SharePoint, Fileserver, Datenbanken, Wikis) abgerufen und dem Modell als Kontext mitgegeben. Das Modell antwortet dann auf Basis dieser Inhalte und kann sie zitieren.

RAG ist der Standardweg, um interne und aktuelle Informationen nutzbar zu machen, ohne ein Modell nachzutrainieren. Microsoft 365 Copilot, Copilot-Studio-Agenten und viele Chatbots nutzen dieses Prinzip. Abzugrenzen ist RAG vom Fine-Tuning: Fine-Tuning verändert Stil und Verhalten des Modells, RAG liefert Fakten zur Laufzeit.

Aktuell entwickelt sich RAG zum „agentischen Abruf“: Ein Modell plant mehrere Teilabfragen über verschiedene Quellen und führt sie parallel aus. In Azure AI Search ist das Query Planning dafür als Preview verfügbar, Foundry IQ baut als Wissensschicht für Agenten darauf auf.

How it works

Eine RAG-Pipeline besteht aus Indexierung und Abfrage:

  1. Aufbereitung: Dokumente werden extrahiert und in Abschnitte (Chunks) zerlegt.
  2. Vektorisierung: Ein Embedding-Modell wandelt jeden Chunk in einen Vektor um, der in einem Vektorindex gespeichert wird.
  3. Abruf: Die Benutzerfrage wird ebenfalls vektorisiert, eine Hybridsuche aus Stichwort- und Vektorsuche liefert die passendsten Chunks, optional nachsortiert per semantischem Ranking.
  4. Generierung: Die Treffer landen zusammen mit Frage und Anweisung im Prompt, das Modell formuliert die Antwort mit Quellenangaben.

Sicherheitsrelevant ist die Berechtigungsprüfung: Benutzer und Agenten dürfen nur Inhalte abrufen, die sie auch direkt öffnen dürften.

Benefits

  • Aktuelles Wissen ohne Neutraining, weil neue Dokumente nur indiziert werden müssen
  • Nachvollziehbare Antworten, da die verwendeten Quellen zitiert werden können
  • Weniger Halluzinationen, wenn das Modell angewiesen wird, nur aus dem gelieferten Kontext zu antworten
  • Berechtigungen bleiben steuerbar, wenn der Index Zugriffsrechte mitführt
  • Funktioniert mit Cloud-Diensten wie Azure AI Search ebenso wie mit lokalen Stacks aus Ollama und Open-Source-Vektordatenbanken

Practical example

Ein Hersteller von Industriereinigungsanlagen mit 150 Beschäftigten möchte, dass der Service schneller Antworten aus über 3.000 Handbüchern, Wartungsprotokollen und Sicherheitsdatenblättern findet. Die IT indiziert die Dokumente in Azure AI Search mit Hybridsuche und bindet ein Sprachmodell aus Microsoft Foundry an. Techniker stellen Fragen im Teams-Chat und bekommen Antworten mit Link auf die Fundstelle. Weil jede Antwort eine Quelle nennt, prüfen die Techniker kritische Angaben direkt im Original.

Things to keep in mind

  • Die Chunk-Größe und Überlappung testen: Zu große Abschnitte verbrauchen Tokens, zu kleine verlieren den Zusammenhang
  • Hybridsuche (Stichwort plus Vektor) bevorzugen, weil reine Vektorsuche Artikelnummern und Fachbegriffe schlecht trifft
  • Oversharing vor dem Start bereinigen: RAG macht falsch berechtigte Dokumente sofort auffindbar
  • Indirekte Prompt Injection berücksichtigen, da abgerufene Dokumente Anweisungen enthalten können (OWASP LLM01 und LLM08)
  • Antwortqualität mit einem festen Fragenkatalog regelmäßig messen, besonders nach Index- oder Modellwechsel

Conclusion

RAG ist das wichtigste Architekturmuster für KI mit Unternehmenswissen. Investiere zuerst in saubere Daten und Berechtigungen, denn die Qualität des Abrufs bestimmt die Qualität der Antwort.

Further reading

Related articles