KI & AI

Token (Sprachmodelle)

Allgemeine Infos

Sprachmodelle verarbeiten Text nicht als Buchstaben oder ganze Wörter, sondern als Tokens. Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen mit Wortanfang sein. Laut OpenAI entspricht ein Token im Englischen durchschnittlich etwa vier Zeichen oder rund drei Vierteln eines Wortes. Andere Sprachen benötigen meist mehr Tokens pro Zeichen, deutsche Texte mit langen Komposita sind daher in Tokens gerechnet oft teurer als englische.

Tokens sind im Betrieb an drei Stellen relevant: Das Kontextfenster eines Modells (die maximale Menge an Eingabe, Ausgabe und bei Reasoning-Modellen Denk-Tokens) wird in Tokens gemessen, Cloud-APIs rechnen nach Input- und Output-Tokens ab, und die Antwortzeit hängt von der Zahl der erzeugten Tokens ab.

Die Größenordnungen haben sich stark verschoben: Ältere Angaben wie „128.000 Tokens bei GPT-4o“ sind überholt, aktuelle Modelle in Microsoft Foundry bieten teils Kontextfenster von über einer Million Tokens. Nicht zu verwechseln ist der Begriff mit dem Zugriffstoken (Access Token) aus der Authentifizierung.

Funktionsweise & Details

Der Weg eines Textes durch das Modell:

  1. Der Tokenizer zerlegt den Text in Tokens und wandelt sie in Token-IDs um.
  2. Das Modell verarbeitet die IDs und erzeugt die Antwort Token für Token.
  3. Eingabe, Ausgabe und Denk-Tokens teilen sich das Kontextfenster. Microsoft weist darauf hin, dass max_output_tokens eine Obergrenze ist und keine Reservierung.
  4. Die Abrechnung erfolgt getrennt nach Input-, Output- und teils zwischengespeicherten (Cached) Tokens, bei neueren Modellen in Foundry auch mit unterschiedlichen Preisen für kurzen und langen Kontext.

Wie viele Tokens ein Text ergibt, hängt vom Tokenizer des Modells ab und lässt sich vorab mit Werkzeugen wie tiktoken zählen.

Vorteile & Nutzen

  • Verständnis für Tokens macht Kosten von KI-Anwendungen vorhersehbar und vergleichbar
  • Hilft beim RAG-Design, weil Chunk-Größe und Anzahl der Treffer direkt Tokens kosten
  • Erklärt Abbrüche und Qualitätsverlust bei langen Dokumenten, wenn das Kontextfenster ausgeschöpft ist
  • Grundlage für Budgets und Quoten in Azure OpenAI und anderen APIs

Praxisbeispiel

Ein Onlinehändler mit 70 Beschäftigten lässt Produktbeschreibungen per API erzeugen und wundert sich über die Monatsrechnung. Die Auswertung zeigt, dass jede Anfrage den kompletten Produktkatalog als Kontext mitschickt. Nach Umstellung auf eine RAG-Abfrage, die nur die passenden Produkte liefert, und einem kürzeren Systemprompt sinkt die Zahl der Input-Tokens pro Anfrage drastisch. Die Kosten gehen entsprechend zurück, die Qualität bleibt gleich.

Worauf sollte man achten?

  • Tokenverbrauch pro Anwendung messen und Budgets bzw. Quoten setzen, bevor eine Anwendung breit ausgerollt wird
  • Für deutsche Texte mit mehr Tokens rechnen als bei englischen Faustformeln
  • Lange Kontexte nicht unnötig füllen: Mehr Kontext kostet mehr und verbessert die Antwort nicht automatisch
  • Bei Reasoning-Modellen auch die Denk-Tokens einkalkulieren, sie zählen zum Kontext und zur Abrechnung

Fazit

Tokens sind die Währung der Sprachmodelle. Wer sie zählen und einplanen kann, hat Kosten und Grenzen seiner KI-Anwendungen im Griff.

Weiterführende Links

Verwandte Artikel