Multi-Head Attention
Was ist Multi-Head Attention? Multi-Head Attention ist ein zentraler Mechanismus in Transformer-Architekturen, der es einem neuronalen Netz ermöglicht, Beziehungen zwischen Tokens in einer Sequenz gleichzeitig aus mehreren unterschiedlichen Perspektiven zu analysieren. Der Begriff beschreibt wörtlich, was technisch geschieht: Statt eine einzige Aufmerksamkeitsberechnung (Single-Head Attention) durchzuführen, werden mehrere parallele Attention-Köpfe (“Heads”) eingesetzt, die jeweils unterschiedliche Aspekte […]
Attention Head
Was ist ein Attention Head? Ein Attention Head ist eine funktionale Einheit innerhalb des Transformer-Architektur-Mechanismus, die lernt, bestimmte Beziehungen zwischen Tokens in einem Text selektiv zu gewichten. Mehrere solcher Köpfe – auch als Aufmerksamkeitsköpfe bezeichnet – arbeiten in einem sogenannten Multi-Head-Attention-Mechanismus parallel zusammen und ermöglichen es einem Large Language Model (LLM), unterschiedliche sprachliche Muster gleichzeitig […]
Byte Pair Encoding (BPE)
Was ist Byte Pair Encoding (BPE)? Byte Pair Encoding – kurz BPE – ist ein Datenkompressionsalgorithmus, der in der Verarbeitung natürlicher Sprache (NLP) als Tokenisierungsverfahren eingesetzt wird. BPE zerlegt Texte in sogenannte Subword-Einheiten: Zeichenfolgen, die kleiner als vollständige Wörter, aber größer als einzelne Zeichen sein können. Ursprünglich aus der Datenkompression stammend, wurde das Verfahren für […]
Subword Tokenization
Was ist Subword Tokenization? Subword Tokenization ist ein Verfahren zur Zerlegung von Text in kleinere Einheiten – sogenannte Tokens –, das zwischen der Ebene ganzer Wörter und einzelner Zeichen operiert. Anstatt einen Text Wort für Wort oder Buchstabe für Buchstabe zu verarbeiten, teilt Subword Tokenization Wörter in häufig vorkommende Teilstücke auf, etwa Wortstämme, Präfixe oder […]
Tokenisierung
Was ist Tokenisierung? Tokenisierung bezeichnet in der Sprachverarbeitung den Prozess, bei dem ein Text in kleinere Einheiten – sogenannte Tokens – zerlegt wird. Diese Tokens bilden die grundlegende Verarbeitungseinheit für Large Language Models (LLMs) und andere NLP-Systeme (Natural Language Processing / Natürliche Sprachverarbeitung). Ein Token kann dabei einem Wort, einem Wortteil, einem einzelnen Zeichen oder […]
Sequence-to-Sequence Modell
Was ist ein Sequence-to-Sequence Modell? Ein Sequence-to-Sequence Modell (kurz: Seq2Seq-Modell) ist eine Klasse von neuronalen Netzen, die eine Eingangssequenz variabler Länge in eine Ausgangssequenz variabler Länge umwandeln. Der Begriff bezeichnet Architekturen, bei denen sowohl Eingabe als auch Ausgabe geordnete Datenfolgen sind – beispielsweise Wörter, Zeichen oder Tokens. Seq2Seq-Modelle bilden die architektonische Grundlage für viele Anwendungen […]
Text Classification
Was ist Text Classification? Text Classification (deutsch: Textklassifikation oder Textkategorisierung) ist ein Verfahren des maschinellen Lernens, bei dem Texte automatisch vordefinierten Kategorien oder Klassen zugeordnet werden. Das Modell analysiert den Inhalt eines Textes und trifft auf Basis erlernter Muster eine Klassifizierungsentscheidung – beispielsweise ob eine E-Mail als Spam oder legitim gilt, ob ein Kundenfeedback positiv […]
Latent Dirichlet Allocation (LDA)
Was ist Latent Dirichlet Allocation (LDA)? Latent Dirichlet Allocation – kurz LDA – ist ein probabilistisches Modell aus dem Bereich des maschinellen Lernens, das dazu dient, in großen Textsammlungen verborgene thematische Strukturen automatisch zu erkennen. Das Verfahren, auch als Topic Model oder Themenmodell bezeichnet, geht davon aus, dass jedes Dokument aus einer Mischung latenter Themen […]
Sentiment Analysis
Was ist Sentiment Analysis? Sentiment Analysis – auch als Meinungsanalyse oder Stimmungsanalyse bezeichnet – ist ein Verfahren der natürlichen Sprachverarbeitung (NLP / Natural Language Processing), das automatisiert die emotionale Tendenz von Texten erkennt und klassifiziert. Das Ziel ist es, aus unstrukturierten Texten wie Bewertungen, Kommentaren oder Social-Media-Beiträgen abzuleiten, ob eine Aussage positiv, negativ oder neutral […]
Topic Modeling
Was ist Topic Modeling? Topic Modeling (auch: Themenmodellierung) ist ein unüberwachtes maschinelles Lernverfahren, das in großen Textmengen automatisch latente Themenstrukturen erkennt und gruppiert. Das Verfahren analysiert, welche Wörter in Dokumenten gemeinsam auftreten, und leitet daraus abstrakte Themenkategorien ab – ohne dass diese vorab manuell definiert werden müssen. Topic Modeling gehört zur Disziplin des Natural Language […]