Filtered glossary entries

Tokenizer

Komponente, die Text in Tokens zerlegt und in Token-IDs umwandelt, bevor ein Sprachmodell ihn verarbeitet.

Vektordatenbank

Datenbank, die Embeddings als Vektoren speichert und per Nächste-Nachbarn-Suche semantisch ähnliche Inhalte findet, Basis vieler RAG-Systeme.