Tokenisierung

Was ist Tokenisierung?

Tokenisierung bezeichnet in der Sprachverarbeitung den Prozess, bei dem ein Text in kleinere Einheiten – sogenannte Tokens – zerlegt wird. Diese Tokens bilden die grundlegende Verarbeitungseinheit für Large Language Models (LLMs) und andere NLP-Systeme (Natural Language Processing / Natürliche Sprachverarbeitung). Ein Token kann dabei einem Wort, einem Wortteil, einem einzelnen Zeichen oder auch einem Satzzeichen entsprechen – je nach verwendetem Tokenisierungsverfahren. Ohne diesen vorgelagerten Schritt wäre eine maschinelle Verarbeitung natürlicher Sprache nicht möglich.

 

Wie funktioniert Tokenisierung?

Bevor ein Sprachmodell Text verarbeiten kann, muss dieser in eine numerische Form überführt werden. Die Tokenisierung ist der erste Schritt in dieser Kette:

1. Zerlegung: Der Eingabetext wird anhand definierter Regeln in Tokens aufgeteilt. Gängige Verfahren wie Byte-Pair-Encoding (BPE) oder WordPiece zerlegen Wörter häufig in häufig vorkommende Teilsequenzen.
2. Zuordnung: Jedem Token wird eine eindeutige numerische ID aus dem Vokabular des Modells zugewiesen.
3. Einbettung: Diese IDs werden anschließend in Vektoren (sogenannte Embeddings) umgewandelt, die das Modell als Eingabe verarbeitet.

Das Vokabular eines Modells ist dabei begrenzt. Unbekannte oder seltene Wörter werden deshalb in mehrere Sub-Tokens aufgespalten, was die Anzahl der verarbeiteten Tokens erhöht.

 

Unterschied zwischen zeichenbasierter und wortbasierter Tokenisierung

Historisch haben sich verschiedene Ansätze entwickelt. Bei der wortbasierten Tokenisierung entspricht jedes Wort einem Token – das führt zu sehr großen Vokabularen und Problemen mit unbekannten Wörtern. Die zeichenbasierte Tokenisierung zerlegt Text bis auf einzelne Buchstaben, was das Vokabular klein hält, aber sehr lange Token-Sequenzen erzeugt. Moderne LLMs wie GPT oder BERT verwenden daher subwortbasierte Verfahren (z. B. BPE oder SentencePiece), die einen Mittelweg bieten: häufige Wörter bleiben als einzelne Tokens erhalten, seltene Wörter werden in bekannte Teilstücke zerlegt.

 

Warum ist Tokenisierung für Unternehmen relevant?

Für Unternehmen, die KI-gestützte Sprachanwendungen einsetzen, hat die Tokenisierung direkte praktische und wirtschaftliche Konsequenzen. Die meisten API-Anbieter – darunter OpenAI oder Anthropic – berechnen ihre Dienste auf Basis der verarbeiteten Token-Anzahl. Längere oder komplexere Texte erzeugen mehr Tokens und verursachen damit höhere Kosten.

Darüber hinaus begrenzt die sogenannte Kontextfenstergröße eines Modells, wie viele Tokens gleichzeitig verarbeitet werden können. Unternehmen, die beispielsweise lange Dokumente analysieren, Kundensupport-Dialoge automatisieren oder umfangreiche Produktbeschreibungen generieren möchten, sollten verstehen, wie ihre Inhalte tokenisiert werden – um Effizienz und Kosten besser steuern zu können. Auch mehrsprachige Anwendungen sind betroffen: Nicht-lateinische Schriften wie Arabisch oder Koreanisch werden oft in mehr Tokens zerlegt als äquivalenter englischer Text, was Kosten und Verarbeitungstiefe beeinflusst.

 

Praxisbeispiel

Angenommen, der K-Beauty-Shop koreanische-kosmetik-shop.de möchte ein LLM nutzen, um automatisch Produktbeschreibungen auf Koreanisch zu generieren. Da koreanische Schriftzeichen (Hangul) von gängigen Tokenizern anders zerlegt werden als lateinische Buchstaben, könnte ein koreanischer Text bei gleicher inhaltlicher Länge deutlich mehr Tokens erzeugen als eine deutsche Version. Ein technisches Team würde in diesem Szenario zunächst analysieren, wie das gewählte Modell koreanische Eingaben tokenisiert, um Kontextfenster und API-Kosten realistisch einzuschätzen und die Prompts entsprechend zu optimieren.

 

Verwandte Begriffe

• Embedding
• Kontextfenster (Context Window)
• Byte-Pair-Encoding (BPE)
• Large Language Model (LLM)
• Natural Language Processing (NLP)

 

FAQ

Was genau ist ein Token – immer ein ganzes Wort?

Nicht zwingend. Abhängig vom verwendeten Tokenizer kann ein Token einem ganzen Wort, einem Wortteil, einem einzelnen Zeichen oder einem Satzzeichen entsprechen. Das Wort „Tokenisierung” könnte beispielsweise in mehrere Sub-Tokens zerlegt werden, wenn es im Vokabular des Modells nicht als Ganzes enthalten ist.

Warum sollten Unternehmen die Tokenisierung kennen, wenn sie KI-APIs nutzen?

Weil Token-Anzahl direkt mit Kosten und Leistungsgrenzen verknüpft ist. Wer versteht, wie seine Eingabetexte tokenisiert werden, kann Prompts gezielter formulieren, Kontextfenster effizienter nutzen und API-Ausgaben besser kalkulieren – besonders bei hohem Volumen oder mehrsprachigen Inhalten.

Wie kann ich prüfen, wie viele Tokens mein Text erzeugt?

Viele Modellanbieter stellen eigene Tools bereit. OpenAI bietet beispielsweise den „Tokenizer” auf seiner Entwicklerplattform an, mit dem sich Texte interaktiv analysieren lassen. Für andere Modelle existieren Open-Source-Bibliotheken wie Hugging Face Tokenizers, die ebenfalls eine Token-Analyse ermöglichen.