Feedforward Network
Was ist ein Feedforward Network? Ein Feedforward Network (auch: Feedforward-Netzwerk, vorwärtsgekoppeltes neuronales Netz) ist eine grundlegende Architektur künstlicher neuronaler Netze, bei der Informationen ausschließlich in eine Richtung fließen – von der Eingabeschicht über eine oder mehrere verdeckte Schichten bis zur Ausgabeschicht. Es gibt keine Rückkopplungsschleifen oder zyklischen Verbindungen: Jede Schicht empfängt Signale von der vorherigen […]
Residual Connection
Was ist eine Residual Connection? Eine Residual Connection (auch: Skip Connection oder Restverbindung) ist eine Architekturkomponente in neuronalen Netzen, bei der die Eingabe einer Schicht direkt – also ohne Transformation – zur Ausgabe einer oder mehrerer nachfolgender Schichten addiert wird. Dieses Prinzip wurde maßgeblich durch die ResNet-Architektur (Residual Network) von Microsoft Research im Jahr 2015 […]
Batch Normalization
Was ist Batch Normalization? Batch Normalization (auch: Batch-Normalisierung) ist eine Technik im Training neuronaler Netze, die die Aktivierungen innerhalb eines Netzwerks schichtweise standardisiert. Das Verfahren wurde 2015 von Sergey Ioffe und Christian Szegedy eingeführt und zielt darauf ab, den Trainingsprozess zu stabilisieren und zu beschleunigen. Dabei werden die Ausgaben einer Schicht so transformiert, dass sie […]
Layer Normalization
Was ist Layer Normalization? Layer Normalization (auch: Layer Norm) ist eine Normalisierungstechnik im maschinellen Lernen, die innerhalb neuronaler Netze die Aktivierungen einer einzelnen Schicht (Layer) während des Trainings stabilisiert. Im Gegensatz zu anderen Normalisierungsverfahren wirkt Layer Normalization unabhängig von der Batch-Größe: Sie berechnet Mittelwert und Varianz über alle Merkmale eines einzelnen Datenpunkts – nicht über […]
Dropout
Was ist Dropout? Dropout ist eine Regularisierungstechnik im maschinellen Lernen, die während des Trainings neuronaler Netze zufällig ausgewählte Neuronen temporär deaktiviert, um Überanpassung (Overfitting) zu verhindern. Die Methode wurde 2014 von Srivastava et al. vorgestellt und gehört heute zu den Standardverfahren beim Training tiefer neuronaler Netzwerke, einschließlich der Grundlagenarchitekturen moderner Large Language Models (LLMs). […]
Epoch
Was ist eine Epoch? Eine Epoch (deutsch: Epoche, auch als Trainingsepoche bezeichnet) ist im maschinellen Lernen ein vollständiger Durchlauf des gesamten Trainingsdatensatzes durch ein neuronales Netz. Dabei verarbeitet das Modell jeden einzelnen Datenpunkt genau einmal, passt seine internen Parameter an und wiederholt diesen Prozess in der Regel über viele Epochen hinweg, bis das Modell ausreichend […]
Batch Size
Was ist Batch Size? Die Batch Size (deutsch: Stapelgröße) bezeichnet im maschinellen Lernen und beim Training von KI-Modellen die Anzahl an Datenpunkten, die ein Modell in einem einzigen Trainingsschritt verarbeitet, bevor die Modellgewichte aktualisiert werden. Der Begriff ist eng mit dem sogenannten Mini-Batch-Gradient-Descent verbunden, einem Verfahren, das zwischen der vollständigen Verarbeitung aller Trainingsdaten auf einmal […]
Cross-Validation
Was ist Cross-Validation? Cross-Validation (deutsch: Kreuzvalidierung) ist ein statistisches Verfahren zur Bewertung der Generalisierungsfähigkeit eines Machine-Learning-Modells. Dabei wird ein Datensatz systematisch in mehrere Teilmengen aufgeteilt, um das Modell abwechselnd auf verschiedenen Daten zu trainieren und zu testen. Das Ziel besteht darin, zuverlässige Aussagen über die Modellgüte zu treffen, ohne dass das Ergebnis von einer einzelnen, […]
AUC (Area Under Curve)
Was ist AUC (Area Under Curve)? AUC, kurz für Area Under the Curve (deutsch: Fläche unter der Kurve), ist eine Kennzahl zur Bewertung der Güte von Klassifikationsmodellen im maschinellen Lernen. Der Begriff bezieht sich in der Regel auf die Fläche unter der ROC-Kurve (Receiver Operating Characteristic), weshalb die Metrik häufig auch als AUC-ROC bezeichnet wird. […]
ROC Curve
Was ist eine ROC Curve? Die ROC Curve (Receiver Operating Characteristic Curve, auch ROC-Kurve oder ROC-Diagramm) ist eine grafische Darstellung zur Bewertung der Klassifikationsleistung eines maschinellen Lernmodells. Sie zeigt das Verhältnis zwischen der True Positive Rate (Sensitivität) und der False Positive Rate über alle möglichen Entscheidungsschwellen hinweg. Je näher die Kurve an der oberen linken […]