ReLU
Was ist ReLU? ReLU (Rectified Linear Unit) ist eine Aktivierungsfunktion, die in neuronalen Netzen eingesetzt wird, um nichtlineare Transformationen von Eingabewerten zu ermöglichen. Die Funktion gibt bei positiven Eingabewerten den Wert unverändert zurück und setzt alle negativen Werte auf null. Diese einfache Regel – häufig als „Gleichrichter-Funktion” beschrieben – hat ReLU zur am weitesten verbreiteten […]
Activation Function
Was ist eine Activation Function? Eine Activation Function (deutsch: Aktivierungsfunktion) ist eine mathematische Funktion in künstlichen neuronalen Netzen, die bestimmt, ob und in welcher Stärke ein Neuron ein Signal weitergibt. Sie wird nach jeder Schicht eines neuronalen Netzes angewendet und entscheidet, welche Informationen aktiviert – also an die nächste Schicht weitergeleitet – werden. Ohne Aktivierungsfunktionen […]
Loss Function
Was ist eine Loss Function? Eine Loss Function (auch Verlustfunktion oder Kostenfunktion genannt) ist eine mathematische Funktion, die misst, wie stark die Vorhersagen eines maschinellen Lernmodells von den tatsächlichen Zielwerten abweichen. Sie ist das zentrale Steuerungselement im Trainingsprozess: Je größer der berechnete Verlust, desto schlechter passt das Modell aktuell zu den Trainingsdaten. Synonyme wie Cost […]
Backpropagation
Was ist Backpropagation? Backpropagation (auch: Fehlerrückführung oder Rückwärtspropagierung) ist ein Lernalgorithmus, der in künstlichen neuronalen Netzen eingesetzt wird, um die Gewichte des Netzwerks schrittweise anzupassen und so Vorhersagefehler zu minimieren. Das Verfahren bildet die algorithmische Grundlage für das Training der meisten modernen KI-Modelle – einschließlich Large Language Models (LLMs). Der Begriff leitet sich aus der […]
Stochastic Gradient Descent (SGD)
Was ist Stochastic Gradient Descent (SGD)? Stochastic Gradient Descent (SGD) – auf Deutsch: stochastisches Gradientenabstiegsverfahren – ist ein Optimierungsalgorithmus, der beim Training von maschinellen Lernmodellen und neuronalen Netzen eingesetzt wird, um die Modellparameter schrittweise so anzupassen, dass der Fehler (Loss) minimiert wird. Im Gegensatz zum klassischen Gradientenabstieg (Batch Gradient Descent) verwendet SGD bei jedem Optimierungsschritt […]
Gradient Descent
Was ist Gradient Descent? Gradient Descent (deutsch: Gradientenabstieg) ist ein mathematisches Optimierungsverfahren, das beim Training von maschinellen Lernmodellen und neuronalen Netzen eingesetzt wird, um die Fehler eines Modells schrittweise zu minimieren. Das Verfahren ist auch unter den Bezeichnungen Gradientenverfahren oder stochastischer Gradientenabstieg bekannt – je nach Variante – und bildet die algorithmische Grundlage dafür, wie […]
Regularization
Was ist Regularization? Regularization (deutsch: Regularisierung) bezeichnet eine Gruppe von Techniken im maschinellen Lernen, die verhindern sollen, dass ein Modell die Trainingsdaten zu stark auswendig lernt – ein Phänomen, das als Overfitting bekannt ist. Durch gezielte Einschränkungen während des Trainings wird das Modell dazu gebracht, allgemeinere Muster zu erkennen, die auch auf unbekannte Daten übertragbar […]
Underfitting
Was ist Underfitting? Underfitting bezeichnet einen Zustand im maschinellen Lernen, bei dem ein Modell zu einfach ist, um die zugrunde liegenden Muster in den Trainingsdaten ausreichend zu erfassen. Das Modell lernt dabei weder die Trainingsdaten noch neue, unbekannte Daten zuverlässig zu verarbeiten – es generalisiert schlecht und liefert durchgehend ungenaue Vorhersagen. Underfitting wird auch als […]
Search Engine Algorithm
Was ist ein Search Engine Algorithm? Ein Search Engine Algorithm – auf Deutsch Suchmaschinenalgorithmus – ist ein komplexes Regelwerk, das Suchmaschinen wie Google oder Bing verwenden, um Webseiten zu bewerten, zu indexieren und in einer Rangfolge auszugeben. Der Algorithmus entscheidet, welche Inhalte bei einer bestimmten Suchanfrage an welcher Position in den organischen Suchergebnissen (SERP) erscheinen. […]
Model Drift (KI)
Was ist Model Drift? Model Drift bezeichnet das Phänomen, bei dem ein trainiertes KI-Modell oder maschinelles Lernmodell im Laufe der Zeit an Vorhersagequalität verliert, weil sich die realen Datenverhältnisse gegenüber den Trainingsdaten verändert haben. Der Begriff wird auch als Modellveralterung oder Modellverschlechterung verwendet. Model Drift tritt nicht durch einen Fehler im Modell selbst auf, sondern […]