Mixture of Experts (MoE)
Was ist Mixture of Experts (MoE)? Mixture of Experts (MoE) ist eine Modellarchitektur aus dem Bereich der Künstlichen Intelligenz, bei der ein neuronales Netz in spezialisierte Teilnetzwerke – sogenannte „Experten” – aufgeteilt wird, die jeweils nur für bestimmte Arten von Eingaben zuständig sind. Anstatt alle Modellparameter für jede Anfrage zu aktivieren, wählt ein internes Routing-System […]
Dense Model
Was ist ein Dense Model? Ein Dense Model (deutsch: dichtes Modell) ist eine Architektur für neuronale Netze und Large Language Models (LLMs), bei der alle Parameter des Modells bei jeder Inferenz – also bei jeder Verarbeitung einer Eingabe – vollständig aktiviert werden. Anders als bei sparsamen Architekturen sind sämtliche Gewichte und Neuronen stets aktiv, was […]
Sparse Model
Was ist ein Sparse Model? Ein Sparse Model (auch: spärliches Modell oder dünn besetztes Modell) ist ein maschinelles Lernmodell, bei dem nur ein Bruchteil der vorhandenen Parameter oder Neuronen aktiv ist – entweder während des Trainings, der Inferenz oder beider Phasen. Im Gegensatz zu dichten Modellen (Dense Models), die bei jeder Berechnung alle Parameter nutzen, […]
Scaling Laws
Was sind Scaling Laws? Scaling Laws (deutsch: Skalierungsgesetze) sind empirisch beobachtete Gesetzmäßigkeiten, die beschreiben, wie die Leistung von KI-Modellen – insbesondere Large Language Models (LLMs) – mit zunehmendem Umfang an Trainingsressourcen vorhersagbar ansteigt. Die drei zentralen Einflussfaktoren, die in diesen Gesetzen berücksichtigt werden, sind die Modellgröße (Anzahl der Parameter), die Menge der Trainingsdaten sowie der […]
Model Hosting
Was ist Model Hosting? Model Hosting bezeichnet die Bereitstellung eines trainierten KI-Modells – insbesondere eines Large Language Models (LLM) – auf einer Infrastruktur, über die es für Anwendungen, Dienste oder Nutzer erreichbar ist. Synonyme wie Model Deployment oder Model Serving beschreiben denselben Prozess: das Modell wird nach dem Training in eine produktive Umgebung überführt, sodass […]
Model Scaling
Was ist Model Scaling? Model Scaling bezeichnet die gezielte Vergrößerung von KI-Modellen – insbesondere von Large Language Models (LLMs) – durch die Erhöhung von Parameterzahl, Trainingsvolumen oder Rechenkapazität. Der Begriff wird auch als Skalierung von KI-Modellen oder Modellskalierung verwendet. Ziel ist es, durch diese Vergrößerung die Leistungsfähigkeit eines Modells zu steigern: Ein skaliertes Modell kann […]
Parameter Count
Was ist Parameter Count? Der Parameter Count – auch Parameteranzahl oder Modellgröße genannt – bezeichnet die Gesamtzahl der trainierbaren Gewichte und Bias-Werte innerhalb eines neuronalen Netzes oder Large Language Models (LLM). Diese numerischen Werte werden während des Trainingsprozesses angepasst und bestimmen maßgeblich, wie viel Wissen und Sprachverständnis ein Modell intern repräsentieren kann. Der Parameter Count […]
Hidden Layer
Was ist ein Hidden Layer? Ein Hidden Layer (deutsch: verdeckte Schicht) ist eine Zwischenschicht in einem künstlichen neuronalen Netz, die zwischen der Eingabeschicht (Input Layer) und der Ausgabeschicht (Output Layer) liegt. Hidden Layers sind nicht direkt von außen sichtbar – weder die Eingabedaten noch die finalen Ausgaben werden in ihnen direkt verarbeitet, sondern interne Repräsentationen […]
Embedding Layer
Was ist ein Embedding Layer? Ein Embedding Layer (auch Einbettungsschicht) ist eine spezielle Schicht in neuronalen Netzen, die diskrete, kategoriale Eingaben – etwa Wörter, Token oder IDs – in kontinuierliche, dichte Vektoren im mehrdimensionalen Raum umwandelt. Diese Vektoren, auch Embeddings oder Einbettungen genannt, kodieren semantische und syntaktische Beziehungen zwischen den Eingaben so, dass ähnliche Konzepte […]
Positional Encoding
Was ist Positional Encoding? Positional Encoding (deutsch: Positionskodierung) ist eine Technik in Transformer-basierten neuronalen Netzen, die jedem Token in einer Eingabesequenz eine Information über seine Position im Text hinzufügt. Da die Transformer-Architektur – anders als rekurrente Netze – alle Token einer Sequenz gleichzeitig verarbeitet, fehlt ihr von Natur aus jedes Verständnis für die Reihenfolge der […]