Subword Tokenization

Was ist Subword Tokenization?

Subword Tokenization ist ein Verfahren zur Zerlegung von Text in kleinere Einheiten – sogenannte Tokens –, das zwischen der Ebene ganzer Wörter und einzelner Zeichen operiert. Anstatt einen Text Wort für Wort oder Buchstabe für Buchstabe zu verarbeiten, teilt Subword Tokenization Wörter in häufig vorkommende Teilstücke auf, etwa Wortstämme, Präfixe oder Suffixe. Synonyme oder eng verwandte Konzepte sind Teilwort-Tokenisierung sowie Subword Segmentation. Dieses Verfahren ist heute die dominierende Methode zur Textvorbereitung in modernen Large Language Models (LLMs / Sprachmodellen) wie GPT, BERT oder LLaMA.

 

Wie funktioniert Subword Tokenization?

Das Verfahren basiert auf statistischer Analyse großer Textmengen. Der Algorithmus identifiziert, welche Zeichenkombinationen besonders häufig gemeinsam auftreten, und fasst diese zu wiederverwendbaren Token-Einheiten zusammen. Die bekanntesten Algorithmen sind:

1. Byte Pair Encoding (BPE): Startet mit einzelnen Zeichen und fusioniert iterativ die häufigsten Zeichenpaare zu neuen Einheiten, bis ein definiertes Vokabular erreicht ist.
2. WordPiece: Ähnlich wie BPE, aber die Fusionsentscheidung basiert auf dem Wahrscheinlichkeitszuwachs für das Sprachmodell – genutzt u. a. von BERT.
3. Unigram Language Model: Beginnt mit einem großen Vokabular und reduziert es schrittweise, indem Token entfernt werden, die den Gesamtverlust am wenigsten erhöhen.

Ein Wort wie „Tokenisierung” könnte beispielsweise in „Token”, „##isier” und „##ung” zerlegt werden. Unbekannte oder seltene Wörter lassen sich so dennoch sinnvoll repräsentieren, ohne dass das Modell sie als vollständig unbekannt behandeln muss.

 

Unterschied zwischen Subword Tokenization und Word-Level Tokenization

Bei der Word-Level Tokenization wird jedes Wort als eigenständiges Token behandelt. Das führt zu sehr großen Vokabularen und einem zentralen Problem: Wörter, die im Training nicht vorkamen – sogenannte Out-of-Vocabulary-Wörter (OOV) –, kann das Modell nicht verarbeiten. Subword Tokenization löst dieses Problem, indem seltene oder unbekannte Wörter in bekannte Teileinheiten zerlegt werden. Dadurch bleibt das Vokabular handhabbar klein, während gleichzeitig eine hohe sprachliche Abdeckung gewährleistet wird. Character-Level Tokenization hingegen zerlegt Text in einzelne Zeichen, was zwar OOV-Probleme vollständig vermeidet, aber zu sehr langen Sequenzen und schlechterem Sprachverständnis führt. Subword Tokenization stellt den praktischen Kompromiss zwischen diesen beiden Extremen dar.

 

Warum ist Subword Tokenization für Unternehmen relevant?

Unternehmen, die KI-gestützte Sprachverarbeitung einsetzen oder evaluieren, sollten Subword Tokenization kennen, weil sie direkte Auswirkungen auf Qualität, Kosten und Einsatzgrenzen von Sprachmodellen hat.

Erstens beeinflusst die Tokenisierung, wie gut ein Modell Fachsprache, Markennamen oder mehrsprachige Inhalte verarbeitet. Technische Begriffe, Produktnamen oder zusammengesetzte Wörter – wie im Deutschen üblich – werden je nach Tokenizer unterschiedlich gut segmentiert, was die Ausgabequalität unmittelbar beeinflusst.

Zweitens ist die Anzahl der erzeugten Tokens direkt mit den API-Kosten bei kommerziellen LLM-Anbietern verknüpft. Längere Token-Sequenzen bedeuten höhere Kosten pro Anfrage. Für Unternehmen mit hohem Anfragevolumen könnte eine bewusste Prompt-Optimierung mit Blick auf die Tokenisierung die Betriebskosten spürbar senken.

Drittens spielen Tokenizer-Grenzen eine Rolle beim Fine-Tuning eigener Modelle: Ein Tokenizer, der auf englischsprachigen Daten trainiert wurde, könnte deutschsprachige Texte ineffizienter verarbeiten und mehr Tokens pro Wort erzeugen, was den Kontextfenster-Verbrauch erhöht.

 

Praxisbeispiel

Angenommen, die Digital-Marketing-Agentur blueShepherd.de würde für einen Kunden aus der Kosmetikbranche einen KI-gestützten Content-Generator einsetzen. Dabei würde das Team feststellen, dass Fachbegriffe wie „Hyaluronserum”, „Lichtschutzfaktor” oder koreanische Markennamen wie „Innisfree” vom verwendeten Tokenizer in viele Einzelteile zerlegt werden. Das würde dazu führen, dass das Kontextfenster schneller ausgeschöpft und pro Anfrage mehr Tokens verbraucht werden. Durch den Wechsel zu einem Tokenizer mit mehrsprachigem Vokabular oder durch gezielte Prompt-Verkürzung könnte das Team die Effizienz der Sprachmodell-Nutzung verbessern, ohne die inhaltliche Qualität zu beeinträchtigen.

 

Verwandte Begriffe

• Byte Pair Encoding (BPE)
• Tokenizer
• Embedding
• Kontextfenster (Context Window)
• Vokabular (Vocabulary)

 

FAQ

Warum erzeugen manche Sprachen mehr Tokens als andere?

Tokenizer werden überwiegend auf englischsprachigen Daten trainiert. Sprachen mit komplexer Morphologie – wie Deutsch mit seinen langen Komposita – oder Sprachen mit nicht-lateinischen Schriftsystemen werden dadurch oft in mehr Teileinheiten zerlegt. Das erhöht den Token-Verbrauch und kann die Modellleistung in diesen Sprachen verringern.

Sollten Unternehmen den Tokenizer bei der Auswahl eines LLMs berücksichtigen?

Ja, besonders wenn mehrsprachige Inhalte, viel Fachvokabular oder ein hohes Anfragevolumen vorliegen. Der Tokenizer beeinflusst sowohl die Qualität der Ausgaben als auch die anfallenden Kosten. Ein Vergleich der Token-Effizienz verschiedener Modelle für den eigenen Anwendungsfall kann sinnvoll sein.

Kann man als Nutzer den Tokenizer eines LLMs anpassen?

Bei kommerziellen API-Diensten wie der OpenAI API ist der Tokenizer in der Regel fest vorgegeben und nicht veränderbar. Beim Fine-Tuning oder beim Trainieren eigener Modelle auf Basis offener Architekturen – etwa LLaMA oder Mistral – besteht hingegen die Möglichkeit, einen eigenen oder angepassten Tokenizer zu verwenden, der besser auf die Zielsprache oder Fachdomäne abgestimmt ist.