KI & AI

Tokenizer

Overview

Ein Tokenizer ist der erste und letzte Schritt jeder Sprachmodell-Verarbeitung: Er zerlegt Eingabetext in Tokens, ordnet jedem Token eine ID aus einem festen Vokabular zu und wandelt die Ausgabe-IDs des Modells wieder in Text um. Jedes Modell ist an seinen Tokenizer gebunden, ein Austausch ist nicht möglich.

Für Admins und Entwickler ist der Tokenizer relevant, weil er bestimmt, wie viele Tokens ein Text kostet und ob er ins Kontextfenster passt. Derselbe Text ergibt bei unterschiedlichen Modellen unterschiedliche Tokenzahlen.

Abgrenzung: Der Tokenizer gehört zum Modell, das Token ist die Einheit, die er erzeugt. Bekannte Implementierungen sind tiktoken von OpenAI (Kodierungen wie o200k_base und cl100k_base) und die Tokenizer-Bibliothek von Hugging Face.

How it works

Moderne Tokenizer nutzen Subwort-Verfahren:

  1. Byte Pair Encoding (BPE): Startet bei einzelnen Zeichen und verschmilzt wiederholt die häufigsten Paare, bis die Vokabulargröße erreicht ist. Genutzt u. a. von GPT-Modellen, Llama, Gemma und Qwen. Byte-Level-BPE arbeitet auf den 256 Bytewerten und kann so jede Eingabe ohne Unbekannt-Token abbilden.
  2. WordPiece: Ähnlich wie BPE, bewertet Verschmelzungen aber nach Wahrscheinlichkeitsgewinn. Genutzt von BERT-Modellen.
  3. Unigram: Beginnt mit einem großen Vokabular und entfernt schrittweise die am wenigsten nützlichen Einheiten. Genutzt u. a. von T5.
  4. SentencePiece: Eine Bibliothek, die BPE oder Unigram direkt auf Rohtext anwendet und Leerzeichen als eigenes Symbol behandelt, praktisch für Sprachen ohne Leerzeichen.

Häufige Wörter werden zu einem Token, seltene Wörter und Fachbegriffe in mehrere Teile zerlegt.

Benefits

  • Ermöglicht genaue Kostenschätzung, weil Tokens vor dem API-Aufruf lokal gezählt werden können
  • Hilft beim Einhalten von Kontextgrenzen, etwa beim Zerlegen von Dokumenten für RAG
  • Erklärt unerwartetes Modellverhalten bei Zahlen, Codes oder seltenen Wörtern, die in viele Tokens zerfallen

Practical example

Ein Softwarehaus mit 50 Beschäftigten baut eine RAG-Anwendung und legt die Chunk-Größe zunächst in Zeichen fest. Bei deutschen Fachtexten passen dadurch weniger Treffer ins Kontextfenster als erwartet. Das Team zählt die Chunks künftig mit tiktoken in der passenden Kodierung des eingesetzten Modells und begrenzt sie in Tokens. Die Auslastung des Kontextfensters wird dadurch planbar.

Things to keep in mind

  • Immer den Tokenizer des tatsächlich eingesetzten Modells verwenden, Zählungen anderer Modelle weichen ab
  • Chunk-Größen und Limits in Tokens statt in Zeichen definieren
  • Bei Modellwechsel Kosten- und Limitberechnungen neu prüfen, neue Modelle haben oft neue Tokenizer
  • Bei lokalen Modellen den Tokenizer zusammen mit den Gewichten aus derselben Quelle beziehen

Conclusion

Der Tokenizer ist ein unscheinbarer, aber kostenrelevanter Teil jeder LLM-Anwendung. Zähle Tokens mit dem passenden Tokenizer, statt mit Faustformeln zu planen.

Further reading

Related articles