KI & AI

Embedding

Overview

Ein Embedding ist eine Darstellung von Inhalten als Liste von Zahlen (Vektor) mit meist mehreren hundert bis einigen tausend Dimensionen. Ein Embedding-Modell erzeugt diese Vektoren so, dass inhaltlich ähnliche Texte oder Bilder nahe beieinanderliegen. Dadurch kann Software Bedeutung vergleichen, statt nur Zeichenfolgen.

Embeddings sind die Grundlage für semantische Suche, RAG, Clustering, Duplikaterkennung, Klassifikation und Empfehlungen. Bekannte Modelle sind text-embedding-3-small und text-embedding-3-large von OpenAI (auch über Azure OpenAI verfügbar), multimodale Modelle für Bild und Text sowie offene Modelle, die lokal etwa über Ollama oder Sentence Transformers laufen.

Abgrenzung: Embedding-Modelle erzeugen keine Texte, sie liefern nur Vektoren. Gespeichert und durchsucht werden die Vektoren in einer Vektordatenbank oder einem Suchdienst wie Azure AI Search.

How it works

So entstehen und wirken Embeddings:

  1. Ein Text (bis zur maximalen Eingabelänge des Modells, bei den OpenAI-Modellen 8.192 Tokens) geht an das Embedding-Modell.
  2. Das Modell liefert einen Vektor fester Länge, bei text-embedding-3-small standardmäßig 1.536, bei text-embedding-3-large 3.072 Dimensionen. Über den Parameter dimensions lassen sich kürzere Vektoren anfordern, die weniger Speicher brauchen.
  3. Die Vektoren werden mit Metadaten in einem Vektorindex gespeichert.
  4. Zur Suche wird die Anfrage mit demselben Modell vektorisiert und per Distanzmaß, meist Kosinus-Ähnlichkeit, mit den gespeicherten Vektoren verglichen.

Wichtig: Vektoren verschiedener Modelle sind nicht vergleichbar. Ein Modellwechsel erfordert die Neuberechnung aller Embeddings.

Benefits

  • Findet Inhalte nach Bedeutung, auch bei Synonymen, Umschreibungen und anderen Sprachen
  • Günstig im Vergleich zu Sprachmodellaufrufen, weil Embeddings nur einmal pro Dokument berechnet werden
  • Kürzbare Vektoren erlauben einen Kompromiss aus Genauigkeit und Speicherbedarf
  • Auch lokal mit offenen Modellen erzeugbar, wenn Daten das Haus nicht verlassen dürfen

Practical example

Eine Kanzlei mit 45 Beschäftigten will Schriftsätze zu ähnlichen Fällen schneller finden. Die IT berechnet für alle Dokumente Embeddings mit einem lokal betriebenen Modell und speichert sie in einer Vektordatenbank auf dem eigenen Server. Anwälte geben eine Fallbeschreibung ein und erhalten passende frühere Schriftsätze, auch wenn andere Begriffe verwendet wurden. Weil das Embedding-Modell lokal läuft, verlassen keine Mandantendaten das Netzwerk.

Things to keep in mind

  • Ein Embedding-Modell festlegen und versionieren, ein Wechsel bedeutet komplette Neuindizierung
  • Für deutschsprachige Inhalte ein mehrsprachiges Modell wählen und mit echten Suchanfragen testen
  • Embeddings als personenbezogene Daten behandeln, wenn die Quelltexte personenbezogen sind
  • Bei kürzeren Vektoren den Parameter dimensions nutzen statt selbst abzuschneiden, sonst muss nachnormiert werden

Conclusion

Embeddings sind der Baustein, der semantische Suche und RAG erst möglich macht. Die Wahl des Modells ist eine langfristige Entscheidung, also teste sie mit Deinen eigenen Daten.

Further reading

Related articles