Tokenizer
Komponente, die Text in Tokens zerlegt und in Token-IDs umwandelt, bevor ein Sprachmodell ihn verarbeitet.
Glossary
All key terms explained in a compact way - ideal for quick lookup and internal linking.
Komponente, die Text in Tokens zerlegt und in Token-IDs umwandelt, bevor ein Sprachmodell ihn verarbeitet.
Datenbank, die Embeddings als Vektoren speichert und per Nächste-Nachbarn-Suche semantisch ähnliche Inhalte findet, Basis vieler RAG-Systeme.