Verlustfunktionen im Maschninellen Lernen

Verlustfunktionen im Maschninellen Lernen

Author: Christoph Würsch, ICE

Verlustfunktionen im ML

Table of Contents

1. Optimierung von Modellen mittels Verlustfunktionen und Gradientenabstieg
2. Verlustfunktionen für die Regression
3. Verlustfunktionen für die Klassifikation
4. Kontrastive Verlustfunktionen (Contrastive Losses)
5. Adversariale Verlustfunktionen (Adversarial Losses)
6. References

Dieser Artikel bietet einen umfassenden Überblick über Verlustfunktionen als zentrale Komponente der Modelloptimierung im Maschinellen Lernen. Er analysiert zunächst Funktionen für die Regression und beleuchtet deren unterschiedliche Robustheit gegenüber Ausreissern, wie beim Vergleich von MSE und MAE. Anschliessend werden Ansätze für die Klassifikation behandelt, die von Maximum-Margin-Methoden wie dem Hinge-Verlust bis zu probabilistischen Modellen mittels Kreuzentropie reichen. Weiterhin werden kontrastive Verluste für das selbst-überwachte Lernen von Datenrepräsentationen durch den Vergleich ähnlicher und unähnlicher Datenpunkte erläutert. Zuletzt stellt der Artikel adversariale Verluste vor, die das kompetitive Training von Generative Adversarial Networks (GANs) ermöglichen. Der Text verdeutlicht, dass die Wahl der Verlustfunktion eine kritische Designentscheidung ist, die die Leistung, Robustheit und das Verhalten eines Modells massgeblich beeinflusst.

donwnload as pdf

1. Optimierung von Modellen mittels Verlustfunktionen und Gradientenabstieg

Im Rahmen des überwachten maschinellen Lernens ist das primäre Ziel, eine Funktion $f_\theta(\bm{x})$ zu lernen, die Eingabedaten $\bm{x}$ möglichst präzise auf zugehörige Zielwerte $y$ abbildet. Die Funktion $f_\theta$ wird durch einen Satz von Parametern $\theta$ (z.B. die Gewichte und Biases eines neuronalen Netzes) bestimmt. Um zu quantifizieren, wie gut das Modell mit den aktuellen Parametern $\theta$ diese Aufgabe erfüllt, wird eine Verlustfunktion (Loss Function) $\mathcal{L}$ verwendet. Die Verlustfunktion $\mathcal{L}(y, \hat{y})$ misst die Diskrepanz oder den “Verlust” zwischen dem wahren Zielwert $y$ und der Vorhersage $\hat{y} = f_\theta(\bm{x})$ für ein einzelnes Datenbeispiel $(\bm{x}, y)$. Das übergeordnete Ziel des Trainingsprozesses ist es, die Parameter $\theta$ des Modells so zu optimieren, dass der durchschnittliche Verlust über den gesamten Trainingsdatensatz $D = \{(\bm{x}_i, y_i)\}_{i=1}^N$ minimiert wird. Diese zu minimierende Zielfunktion (Objective Function), oft als $\mathcal{L}(\theta)$ bezeichnet, lautet typischerweise:

Hierbei bezeichnet $\mathcal{L}(\theta)$ den durchschnittlichen Gesamtverlust als Funktion der Parameter $\theta$, während $\mathcal{L}(y_i, f_\theta(\bm{x}_i))$ den Verlust für das einzelne Beispiel $i$ darstellt. Die Wahl einer geeigneten Verlustfunktion $\mathcal{L}(y, \hat{y})$ hängt massgeblich von der Art der Lernaufgabe ab. Wie in den folgenden Abschnitten detailliert beschrieben wird, verwendet man für Klassifikationsaufgaben andere Verlustfunktionen (z.B. Kreuzentropie, Hinge-Verlust) als für Regressionsaufgaben (z.B. Mittlerer Quadratischer Fehler, Mittlerer Absoluter Fehler) oder für komplexere Szenarien wie generative Modellierung (z.B. adversariale Verluste) oder das Lernen von Repräsentationen (z.B. kontrastive Verluste). Unabhängig von der spezifischen Wahl der Verlustfunktion benötigen wir ein algorithmisches Verfahren, um die optimalen Parameter $\theta^*$ zu finden, die die Zielfunktion $\mathcal{L}(\theta)$ minimieren:

Für einfache Modelle wie die lineare Regression existieren analytische Lösungen, aber für komplexe Modelle wie tiefe neuronale Netze ist $\mathcal{L}(\theta)$ typischerweise eine hochdimensionale, nicht-konvexe Funktion, für die analytische Lösungen nicht praktikabel sind. Hier kommen iterative Optimierungsverfahren ins Spiel.

1.1. Das Gradientenabstiegsverfahren (Gradient Descent)

Das bei weitem am häufigsten verwendete Optimierungsverfahren im maschinellen Lernen, insbesondere im Deep Learning, ist das Gradientenabstiegsverfahren (Gradient Descent). Die Grundidee ist einfach: Man startet mit einer anfänglichen Schätzung der Parameter $\theta_0$ und bewegt sich dann iterativ in kleinen Schritten in die Richtung, die den Wert der Verlustfunktion $\mathcal{L}(\theta)$ am stärksten reduziert.

Herleitung: Wir möchten die Parameter $\theta$ so ändern, dass der Wert der Zielfunktion $\mathcal{L}(\theta)$ sinkt. Angenommen, wir befinden uns beim Parametervektor $\theta_k$ im $k$-ten Iterationsschritt. Wir suchen eine kleine Änderung $\Delta \theta$, sodass $\mathcal{L}(\theta_k + \Delta \theta) < \mathcal{L}(\theta_k)$ gilt. Mittels einer Taylor-Entwicklung erster Ordnung können wir $\mathcal{L}(\theta_k + \Delta \theta)$ in der Nähe von $\theta_k$ approximieren:

Hierbei ist $\nabla_\theta \mathcal{L}(\theta_k)$ der Gradientenvektor der Zielfunktion $\mathcal{L}$ bezüglich der Parameter $\theta$, ausgewertet an der Stelle $\theta_k$. Der Gradient $\nabla_\theta \mathcal{L}(\theta_k)$ zeigt in die Richtung des steilsten Anstiegs der Funktion $\mathcal{L}$ an der Stelle $\theta_k$. Damit $\mathcal{L}(\theta_k + \Delta \theta) < \mathcal{L}(\theta_k)$ gilt, muss der zweite Term in Gl. \eqref{eq:taylor_expansion_L} negativ sein:

Um den Wert von $\mathcal{L}$ möglichst schnell zu reduzieren, suchen wir die Richtung $\Delta \theta$, die bei einer festen (kleinen) Schrittlänge $\|\Delta \theta\|$ den Wert des Skalarprodukts $\nabla_\theta \mathcal{L}(\theta_k)^T \Delta \theta$ minimiert. Das Skalarprodukt $\bm{a}^T \bm{b} = \|\bm{a}\| \|\bm{b}\| \cos \phi$ wird minimal (am negativsten), wenn der Winkel $\phi$ zwischen den Vektoren $\nabla_\theta \mathcal{L}(\theta_k)$ und $\Delta \theta$ gleich $180^\circ$ ist, d.h., wenn $\Delta \theta$ in die genau entgegengesetzte Richtung des Gradienten zeigt. Wir wählen daher die Aktualisierungsrichtung als den negativen Gradienten:

Hier ist $\eta > 0$ ein kleiner positiver Skalar, der als Lernrate (Learning Rate) bezeichnet wird. Die Lernrate steuert die Schrittweite bei jedem Aktualisierungsschritt. Eine zu grosse Lernrate kann dazu führen, dass der Algorithmus über das Minimum hinausschiesst und divergiert, während eine zu kleine Lernrate die Konvergenz stark verlangsamt.

Die Update-Regel: Kombiniert man die aktuelle Parameterschätzung $\theta_k$ mit der Änderung $\Delta \theta$, ergibt sich die iterative Update-Regel des Gradientenabstiegs:

Dieser Schritt wird wiederholt, bis ein Konvergenzkriterium erfüllt ist, z.B. wenn der Gradient sehr klein wird ($\|\nabla_\theta \mathcal{L}(\theta_k)\| \approx 0$), die Änderung der Parameter oder des Verlusts unter einen Schwellenwert fällt, oder eine maximale Anzahl von Iterationen erreicht ist.

Algorithmus (Allgemeine Form):

1. Initialisiere die Parameter $\theta_0$ (z.B. zufällig).
2. Wiederhole für $k = 0, 1, 2, \dots$ bis Konvergenz: a. Berechne den Gradienten der Zielfunktion: $\bm{g}_k = \nabla_\theta \mathcal{L}(\theta_k)$. b. Aktualisiere die Parameter: $\theta_{k+1} = \theta_k - \eta \bm{g}_k$.
3. Gebe die optimierten Parameter $\theta_{k+1}$ zurück.

1.2. Varianten des Gradientenabstiegs

Die Berechnung des exakten Gradienten $\nabla_\theta \mathcal{L}(\theta)$ erfordert gemäss Gl. \eqref{eq:objective_function_L} die Berechnung des Verlusts und seines Gradienten für jedes einzelne Beispiel im Trainingsdatensatz $D$:

Für sehr grosse Datensätze (z.B. Millionen von Bildern) ist die Berechnung dieses vollständigen Gradienten in jedem Iterationsschritt extrem rechenaufwändig und möglicherweise unpraktikabel. Aus diesem Grund wurden verschiedene Varianten des Gradientenabstiegs entwickelt.

1.2.1. Batch Gradient Descent (BGD)

Erklärung: Dies ist die Standardvariante, die oben beschrieben wurde. Der Gradient wird über den gesamten Trainingsdatensatz berechnet, bevor ein einziger Parameterschritt durchgeführt wird.

Formel (Update):

Vorteile:

• Der Gradient ist eine exakte Schätzung des wahren Gradienten der Zielfunktion $\mathcal{L}(\theta)$.
• Die Konvergenz ist oft stabil und direkt auf ein lokales (bei konvexen Problemen globales) Minimum gerichtet.

Nachteile:

• Sehr langsam und rechenintensiv für grosse Datensätze, da alle Daten für jeden Schritt verarbeitet werden müssen.
• Möglicherweise nicht durchführbar, wenn der Datensatz nicht in den Speicher passt.
• Kann in flachen lokalen Minima stecken bleiben.

1.2.2. Stochastic Gradient Descent (SGD)

Erklärung: Beim Stochastischen Gradientenabstieg wird der Gradient für die Parameteraktualisierung basierend auf nur einem einzigen, zufällig ausgewählten Trainingsbeispiel $(\bm{x}_i, y_i)$ in jedem Schritt geschätzt.

Formel (Update für Beispiel $i$):

Innerhalb einer Trainingsepoche (ein Durchlauf durch den gesamten Datensatz) werden also $N$ Parameter-Updates durchgeführt.

Vorteile:

• Deutlich schnellere Updates ($N$ Updates pro Epoche vs. 1 bei BGD).
• Geringer Speicherbedarf pro Update (nur ein Beispiel).
• Die hohe Varianz (“Rauschen”) im Gradienten kann helfen, aus flachen lokalen Minima zu entkommen und potenziell bessere Minima zu finden.
• Ermöglicht Online-Lernen (Modellaktualisierung bei Eintreffen neuer Daten).

Nachteile:

• Hohe Varianz der Gradientenschätzung führt zu stark oszillierendem Konvergenzpfad.
• Konvergiert nicht exakt zum Minimum, sondern oszilliert typischerweise darum herum (es sei denn, die Lernrate wird über die Zeit reduziert).
• Verliert Effizienzvorteile durch vektorisierte Operationen auf moderner Hardware (GPUs).

1.2.3. Mini-Batch Gradient Descent (MBGD)

Erklärung: Dies ist der am häufigsten verwendete Kompromiss zwischen BGD und SGD. Der Gradient wird über einen kleinen, zufällig ausgewählten Teildatensatz, den sogenannten Mini-Batch $\mathcal{B}$ der Grösse $B$ (wobei $1 < B < N$), berechnet. Typische Batch-Grössen liegen im Bereich von $B=32$ bis $B=512$.

Formel (Update für Mini-Batch $\mathcal{B}$):

Eine Epoche besteht aus $\lceil N/B \rceil$ Updates.

Vorteile:

• Reduziert die Varianz der Gradientenschätzung im Vergleich zu SGD, was zu stabilerer Konvergenz führt.
• Nutzt die Vorteile der Vektorisierung und parallelen Verarbeitung auf GPUs effizient aus.
• Schneller als BGD und oft stabiler/effizienter als reines SGD.

Nachteile:

• Einführung eines neuen Hyperparameters (Batch-Grösse $B$), der abgestimmt werden muss.
• Der Gradient ist immer noch eine Schätzung (weniger verrauscht als SGD, aber nicht exakt wie BGD).

Die hier vorgestellten Varianten des Gradientenabstiegs bilden die Grundlage für die Optimierung der meisten modernen Modelle des maschinellen Lernens. Aufbauend darauf wurden zahlreiche Weiterentwicklungen vorgeschlagen, um die Konvergenzgeschwindigkeit und -stabilität weiter zu verbessern. Dazu gehören Techniken wie die Verwendung von Momentum (um Oszillationen zu dämpfen und die Konvergenz zu beschleunigen) oder adaptive Lernratenverfahren (wie AdaGrad, RMSprop und Adam), die die Lernrate $\eta$ für jeden Parameter individuell anpassen. Die spezifische Berechnung des Gradienten $\nabla_\theta \mathcal{L}(y_i, f_\theta(\bm{x}_i))$ hängt natürlich von der gewählten Verlustfunktion $\mathcal{L}$ und der Architektur des Modells $f_\theta$ ab. Für neuronale Netze wird dieser Gradient effizient mittels des Backpropagation-Algorithmus berechnet, welcher im Wesentlichen die Kettenregel der Differentialrechnung anwendet. Die Details der spezifischen Verlustfunktionen für verschiedene Aufgaben werden in den folgenden Abschnitten behandelt.

2. Verlustfunktionen für die Regression

Bei Regressionsproblemen im überwachten Lernen ist das Ziel, eine kontinuierliche Zielvariable $y \in \R$ basierend auf Eingabemerkmalen $\bm{x}$ vorherzusagen. Ein Regressionsmodell $f_\theta$ lernt eine Funktion, die eine Vorhersage $\hat{y} = f_\theta(\bm{x})$ für einen gegebenen Input $\bm{x}$ liefert. Die Verlustfunktion spielt hierbei die entscheidende Rolle, die Diskrepanz oder den Fehler zwischen dem wahren Wert $y$ und dem vorhergesagten Wert $\hat{y}$ zu quantifizieren. Das Ziel des Trainings ist es, die Parameter $\theta$ des Modells so anzupassen, dass der durchschnittliche Verlust über den Trainingsdatensatz minimiert wird. Die Wahl der Verlustfunktion beeinflusst nicht nur die Konvergenz des Trainingsprozesses, sondern auch die Eigenschaften der resultierenden Vorhersagen (z.B. ob das Modell tendenziell den Mittelwert oder den Median vorhersagt) und die Robustheit des Modells gegenüber Ausreissern in den Daten. Wir verwenden die folgende Notation: $y_i$ ist der wahre Wert für das $i$-te Beispiel, $\hat{y}_i$ ist der vom Modell vorhergesagte Wert, und $N$ ist die Anzahl der Beispiele im Datensatz. Der Fehler oder das Residuum für ein Beispiel ist $\varepsilon_i = y_i - \hat{y}_i$.

2.1. Mittlerer Quadratischer Fehler (Mean Squared Error, MSE / L2-Verlust)

Der Mittlere Quadratische Fehler (MSE), auch L2-Verlust genannt, ist die am häufigsten verwendete Verlustfunktion für Regressionsprobleme.

Erklärung: MSE berechnet den Durchschnitt der quadrierten Differenzen zwischen den wahren und den vorhergesagten Werten. Durch das Quadrieren werden grössere Fehler überproportional stark bestraft. Dies macht MSE sehr empfindlich gegenüber Ausreissern.

Formel:

Für einen einzelnen Datenpunkt wird der Verlust oft als $(y - \hat{y})^2 = \varepsilon^2$ betrachtet.

Herleitung/Motivation: MSE ergibt sich natürlich aus der Maximum-Likelihood-Schätzung (MLE), wenn angenommen wird, dass die Fehler $\varepsilon_i = y_i - \hat{y}_i$ unabhängig und identisch normalverteilt (Gaussverteilung) mit Mittelwert Null und konstanter Varianz sind. Unter dieser Annahme maximiert die Minimierung des MSE die Plausibilität der Modellparameter gegeben die Daten. Mathematisch ist MSE attraktiv, da die Funktion konvex und glatt (unendlich oft differenzierbar) ist, was die Optimierung mit gradientenbasierten Methoden erleichtert. Die Ableitung nach $\hat{y}_i$ ist einfach $-2(y_i - \hat{y}_i) = 2(\hat{y}_i - y_i) = -2\varepsilon_i$. Modelle, die mit MSE trainiert werden, lernen tendenziell, den bedingten Mittelwert von $y$ gegeben $\bm{x}$ vorherzusagen.

Eigenschaften und Herausforderungen:

2.2. Mittlerer Absoluter Fehler (Mean Absolute Error, MAE / L1-Verlust)

Der Mittlere Absolute Fehler (MAE), auch L1-Verlust genannt, ist eine Alternative zu MSE, die robuster gegenüber Ausreissern ist.

Erklärung: MAE berechnet den Durchschnitt der absoluten Differenzen zwischen den wahren und den vorhergesagten Werten. Da die Fehler linear und nicht quadratisch gewichtet werden, haben Ausreisser einen geringeren Einfluss auf den Gesamtverlust als bei MSE.

Formel:

Für einen einzelnen Datenpunkt ist der Verlust $|y - \hat{y}| = |\varepsilon|$.

Herleitung/Motivation: MAE entspricht der MLE, wenn angenommen wird, dass die Fehler einer Laplace-Verteilung folgen. Ein Modell, das trainiert wird, um MAE zu minimieren, lernt, den bedingten Median von $y$ gegeben $\bm{x}$ vorherzusagen. Der Median ist bekanntermassen robuster gegenüber Ausreissern als der Mittelwert. Ein Nachteil ist, dass die MAE-Funktion am Punkt $y = \hat{y}$ (Fehler $\varepsilon=0$) nicht differenzierbar ist (die Ableitung springt von -1 auf +1). In der Praxis verwendet man Subgradienten (z.B. 0 oder $\pm 1$) oder glättet die Funktion nahe null. Die Ableitung nach $\hat{y}_i$ ist $-\text{sgn}(y_i - \hat{y}_i) = -\text{sgn}(\varepsilon_i)$.

Eigenschaften und Herausforderungen:

2.3. Huber-Verlust

Der Huber-Verlust ist eine hybride Verlustfunktion, die versucht, die Vorteile von MSE und MAE zu kombinieren.

Erklärung: Der Huber-Verlust verhält sich wie MSE für kleine Fehler (innerhalb eines Schwellenwerts $\pm \delta$) und wie MAE (linear) für grosse Fehler. Der Parameter $\delta$ steuert den Übergangspunkt. Dadurch ist der Huber-Verlust weniger empfindlich gegenüber Ausreissern als MSE, aber immer noch differenzierbar am Nullpunkt (im Gegensatz zu MAE).

Formel: Für einen einzelnen Fehler $\varepsilon = y - \hat{y}$:

Der Gesamtverlust ist der Durchschnitt über alle Datenpunkte.

Motivation: Ziel ist es, die Robustheit von MAE für grosse Fehler mit der Effizienz und Glattheit von MSE für kleine Fehler zu verbinden. Die Funktion ist stetig differenzierbar.

Eigenschaften und Herausforderungen:

2.4. Log-Cosh-Verlust

Der Log-Cosh-Verlust ist eine weitere glatte Verlustfunktion, die sich ähnlich wie MAE verhält, aber überall zweimal differenzierbar ist.

Erklärung: Er basiert auf dem Logarithmus des hyperbolischen Kosinus des Fehlers. Für kleine Fehler $\varepsilon$ approximiert $\log(\cosh(\varepsilon))$ den quadratischen Fehler $\frac{1}{2}\varepsilon^2$, während es für grosse Fehler dem absoluten Fehler $|\varepsilon| - \log 2$ ähnelt.

Formel:

(Beachte: $\cosh(-x) = \cosh(x)$)

Motivation: Ziel ist es, eine Verlustfunktion zu haben, die die Robustheitseigenschaften von MAE/Huber besitzt, aber sehr glatt ist (unendlich oft differenzierbar), was für manche Optimierungsalgorithmen (z.B. solche, die zweite Ableitungen nutzen) vorteilhaft sein kann.

Eigenschaften und Herausforderungen:

2.5. Quantil-Verlust (Pinball Loss)

Der Quantil-Verlust, auch Pinball Loss genannt, wird verwendet, um bedingte Quantile (anstelle des Mittelwerts oder Medians) der Zielvariablen vorherzusagen.

Erklärung: Quantilregression ermöglicht es, verschiedene Punkte der bedingten Verteilung von $y$ zu modellieren, z.B. das 10., 50. (Median) oder 90. Perzentil. Der Quantil-Verlust ist asymmetrisch und bestraft Über- und Unterschätzungen unterschiedlich, abhängig vom Zielquantil $\tau \in (0, 1)$.

Formel: Für einen Fehler $\varepsilon = y - \hat{y}$ und ein Zielquantil $\tau$:

Dies kann auch kompakt als $\max(\tau \varepsilon, (\tau-1)\varepsilon)$ geschrieben werden. Der Gesamtverlust ist der Durchschnitt über alle Datenpunkte.

Motivation: Für $\tau = 0.5$ ist der Verlust $\max(0.5 \varepsilon, -0.5 \varepsilon) = 0.5 |\varepsilon|$, was äquivalent zu MAE ist (Minimierung führt zur Vorhersage des Medians). Für $\tau > 0.5$ werden Unterschätzungen ($\varepsilon > 0$) stärker bestraft als Überschätzungen ($\varepsilon < 0$), was das Modell dazu bringt, höhere Quantile vorherzusagen. Für $\tau < 0.5$ ist es umgekehrt. Dies ist nützlich, um Unsicherheitsintervalle zu schätzen oder Risiken zu modellieren.

Eigenschaften und Herausforderungen:

2.6 Die verallgemeinerte Verlustfunktion

T. Barron stellt eine verallgemeinerte Verlustfunktion vor, die eine Obermenge vieler gebräuchlicher robuster Verlustfunktionen darstellt. Durch die Anpassung eines einzigen, kontinuierlich veränderbaren Parameters kann diese Funktion so eingestellt werden, dass sie mehreren traditionellen Verlustfunktionen entspricht oder eine breitere Familie von Funktionen modelliert. Dies ermöglicht die Verallgemeinerung von Algorithmen, die auf einer festen robusten Verlustfunktion aufbauen, indem ein neuer Hyperparameter für die “Robustheit” eingeführt wird. Dieser kann justiert oder durch Techniken wie Annealing optimiert werden, um die Leistung zu verbessern.

Die grundlegende Form der Verlustfunktion ist wie folgt definiert:

Hierbei ist $\alpha \in \mathbb{R}$ ein Formparameter, der die Robustheit der Verlustfunktion steuert, und $c > 0$ ist ein Skalierungsparameter, der die Breite des quadratischen Bereichs der Funktion in der Nähe von $x=0$ bestimmt.

Spezialfälle und Grenzwerte

Obwohl die Funktion für $\alpha = 2$ nicht definiert ist, nähert sie sich im Grenzwert dem L2-Verlust (quadratischer Fehler) an:

Für $\alpha=1$ ergibt sich eine geglättete Form des L1-Verlusts, die oft als Charbonnier- oder Pseudo-Huber-Verlust bezeichnet wird:

Diese Funktion verhält sich in der Nähe des Ursprungs wie der L2-Verlust und für größere Werte wie der L1-Verlust.

Die Ausdruckskraft der Funktion wird besonders deutlich, wenn nicht-positive Werte für den Formparameter $\alpha$ betrachtet werden. Obwohl $\mathcal{L}(x, 0, c)$ nicht definiert ist, kann der Grenzwert für $\alpha \to 0$ gebildet werden:

Dies entspricht dem Cauchy- (oder Lorentz-) Verlust.

Durch Setzen von $\alpha = -2$ wird der Geman-McClure-Verlust reproduziert:

Im Grenzwert für $\alpha \to -\infty$ ergibt sich der Welsch- (oder Leclerc-) Verlust:

Unter Berücksichtigung dieser Spezialfälle kann die vollständige, stückweise definierte Verlustfunktion formuliert werden, welche die hebbaren Singularitäten bei $\alpha=0$ und $\alpha=2$ sowie den Grenzwert bei $\alpha=-\infty$ explizit behandelt:

Wie gezeigt wurde, umfasst diese Funktion eine Vielzahl bekannter robuster Verlustfunktionen.

Ableitung und Interpretation

Für gradientenbasierte Optimierungsverfahren ist die Ableitung der Verlustfunktion nach $x$ von entscheidender Bedeutung:

Die Form der Ableitung gibt Aufschluss darüber, wie der Parameter $\alpha$ das Verhalten bei der Minimierung mittels Gradientenabstieg beeinflusst.

• Für alle $\alpha$-Werte: Ist der Fehler (Residuum) klein ($\lvert x \rvert < c$), ist die Ableitung annähernd linear. Der Einfluss eines kleinen Residuums ist also immer proportional zu seiner Größe.

• Für $\alpha = 2$ (L2-Verlust): Der Betrag der Ableitung wächst linear mit dem Residuum. Größere Fehler haben einen entsprechend größeren Einfluss auf die Anpassung.

• Für $\alpha = 1$ (Geglätteter L1-Verlust): Der Betrag der Ableitung sättigt bei einem konstanten Wert von $\frac{1}{c}$, wenn $\lvert x \rvert$ größer als $c$ wird. Der Einfluss eines Fehlers nimmt also nie ab, überschreitet aber auch nie einen festen Betrag.

• Für $\alpha < 1$ (Robuste Verluste): Der Betrag der Ableitung beginnt zu sinken, wenn $\lvert x \rvert$ größer als $c$ wird. Man spricht hier von einer “redescending” Einflussfunktion. Das bedeutet, dass der Einfluss eines Ausreißers mit zunehmendem Residuum geringer wird. Je negativer $\alpha$ wird, desto stärker wird dieser Effekt. Für $\alpha \to -\infty$ wird ein Ausreißer mit einem Residuum größer als $3c$ fast vollständig ignoriert.

Eine weitere Interpretation ergibt sich aus der Perspektive statistischer Mittelwerte. Die Minimierung des L2-Verlusts ($\alpha=2$) entspricht der Schätzung des arithmetischen Mittels. Die Minimierung des L1-Verlusts ($\alpha \approx 1$) ähnelt der Schätzung des Medians. Die Minimierung des Verlusts für $\alpha = -\infty$ ist äquivalent zur lokalen Modus-Suche. Werte für $\alpha$ zwischen diesen Extremen können als eine glatte Interpolation zwischen diesen drei Arten von Mittelwertschätzungen betrachtet werden.

2.7. Vergleich von Regressions-Verlustfunktionen

Die Wahl der Verlustfunktion in der Regression ist ein wichtiger Aspekt des Modelldesigns. MSE ist der Standard aufgrund seiner mathematischen Einfachheit und Verbindung zur Gauss-Annahme, aber seine Empfindlichkeit gegenüber Ausreissern ist ein signifikanter Nachteil in vielen realen Anwendungen. MAE bietet Robustheit, opfert aber die Differenzierbarkeit am Minimum. Huber und Log-Cosh stellen Kompromisse dar, die Robustheit mit Glattheit verbinden, wobei Huber einen expliziten Parameter $\delta$ benötigt. Der Quantil-Verlust erweitert den Fokus von zentralen Tendenzmassen (Mittelwert, Median) auf die gesamte bedingte Verteilung und ist unerlässlich für Aufgaben wie die Schätzung von Unsicherheitsintervallen. Die Entscheidung sollte basierend auf den Eigenschaften der Daten (insbesondere dem Vorhandensein von Ausreissern) und dem spezifischen Ziel der Regressionsanalyse getroffen werden (z.B. Vorhersage des Durchschnitts, des wahrscheinlichsten Werts oder eines bestimmten Quantils). Tabelle 1 fasst die Hauptmerkmale zusammen.

Tabelle 1: Vergleich von Regressions-Verlustfunktionen

3. Verlustfunktionen für die Klassifikation

Beim überwachten Lernen für die Klassifikation ist das Ziel, eine Abbildung $f: \mathcal{X} \to \mathcal{Y}$ von einem Eingaberaum $\mathcal{X}$ (z.B. $\R^d$) in einen diskreten Ausgaberaum $\mathcal{Y}$, der die Klassenlabels repräsentiert, zu lernen. Für eine gegebene Eingabe $\bm{x}$ erzeugt das Modell $f$ eine Vorhersage, die ein Rohwert (Score) $f(\bm{x}) \in \R$, eine Wahrscheinlichkeitsverteilung $\hat{\bm{p}} \in [0, 1]^K$ oder ein direktes Klassenlabel $\hat{y} \in \mathcal{Y}$ sein kann. Eine Verlustfunktion, $\mathcal{L}(y, \hat{y})$ oder $\mathcal{L}(y, f(\bm{x}))$, quantifiziert die Kosten (den „Verlust“), die entstehen, wenn das wahre Label $y$ ist und die Vorhersage $\hat{y}$ bzw. aus $f(\bm{x})$ abgeleitet ist. Das Ziel während des Trainings ist typischerweise die Minimierung des durchschnittlichen Verlusts über den Trainingsdatensatz. Obwohl das ultimative Ziel bei der Klassifikation oft die Minimierung der Anzahl von Fehlklassifikationen ist (gemessen durch den Null-Eins-Verlust), ist diese Verlustfunktion nicht konvex und lässt sich nur schwer direkt mit gradientenbasierten Methoden optimieren. Daher werden verschiedene Surrogat-Verlustfunktionen (auch Ersatz-Verlustfunktionen genannt) verwendet, die typischerweise konvex und differenzierbar sind und als Annäherungen an den Null-Eins-Verlust dienen.

Wir betrachten hauptsächlich zwei gängige Konventionen für Labels:

1. Binäre Klassifikation mit $y \in \{-1, +1\}$: Hier gibt das Modell oft einen reellwertigen Score $f(\bm{x})$ aus. Das Vorzeichen von $f(\bm{x})$ bestimmt typischerweise die vorhergesagte Klasse $\hat{y} = \text{sgn}(f(\bm{x}))$, und der Betrag $|f(\bm{x})|$ kann als Konfidenz interpretiert werden.
2. Binäre/Multiklassen-Klassifikation mit Wahrscheinlichkeiten: Hier wird das wahre Label $y$ oft als ganze Zahl $y \in \{0, 1, \dots, K-1\}$ oder als One-Hot-Vektor $\bm{y} \in \{0, 1\}^K$ dargestellt. Das Modell gibt eine Wahrscheinlichkeit (für binär, $\hat{p} = P(Y=1|\bm{x})$) oder eine Wahrscheinlichkeitsverteilung $\hat{\bm{p}} = (\hat{p}_0, \dots, \hat{p}_{K-1})$ aus, wobei $\hat{p}_k = P(Y=k|\bm{x})$. Der Score $f(\bm{x})$ oder Vektor $\bm{z} = (z_0, \dots, z_{K-1})$ repräsentiert oft die Werte vor der Aktivierungsfunktion (Logits), bevor eine Funktion wie Sigmoid oder Softmax angewendet wird.

Im Folgenden untersuchen wir die wichtigsten Verlustfunktionen für die Klassifikation.

3.1. Null-Eins-Verlust (Zero-One Loss)

Der Null-Eins-Verlust misst direkt den Klassifikationsfehler. Er weist einer Fehlklassifikation einen Verlust von 1 und einer korrekten Klassifikation einen Verlust von 0 zu.

Formel: Mit vorhergesagtem Label $\hat{y}$:

Mit Score $f(\bm{x})$ für $y \in \{-1, +1\}$ (unter Annahme der Vorhersage $\hat{y} = \text{sgn}(f(\bm{x}))$):

Hier ist $\mathbb{I}\left[{\cdot}\right]$ die Indikatorfunktion, die 1 zurückgibt, wenn die Bedingung wahr ist, und 0 sonst. Der Term $y \cdot f(\bm{x})$ ist genau dann positiv, wenn die Vorhersage das korrekte Vorzeichen hat.

Herleitung: Diese Verlustfunktion ist definitorisch und spiegelt direkt das Ziel der Minimierung von Fehlklassifikationen wider.

Eigenschaften und Anwendungsfälle:

3.2. Hinge-Verlust (Hinge Loss)

Der Hinge-Verlust wird hauptsächlich in Verbindung mit Support-Vektor-Maschinen (SVMs) und der Maximum-Margin-Klassifikation verwendet. Er bestraft Vorhersagen, die falsch sind oder korrekt sind, aber innerhalb der Marge liegen.

Formel: (für $y \in \{-1, +1\}$ und Score $f(\bm{x})$)

Der Term $m = y \cdot f(\bm{x})$ wird oft als Margin-Score bezeichnet. Der Verlust ist null, wenn der Punkt korrekt mit einer Marge von mindestens 1 klassifiziert wird ($m \ge 1$). Andernfalls steigt der Verlust linear mit dem negativen Margin-Score.

Herleitung: Der Hinge-Verlust ergibt sich aus der Formulierung von Soft-Margin-SVMs. Ziel ist es, eine Hyperebene $\bm{w} \cdot \bm{x} + b = 0$ zu finden, sodass $y_i (\bm{w} \cdot \bm{x}_i + b) \ge 1 - \xi_i$ für Schlupfvariablen $\xi_i \ge 0$ gilt. Die Minimierung einer Kombination aus der Margengrösse ($\|\bm{w}\|^2$) und der Gesamtsumme der Schlupfvariablen $\sum \xi_i$ führt zur Minimierung von $\|\bm{w}\|^2 + C \sum \max(0, 1 - y_i (\bm{w} \cdot \bm{x}_i + b))$, wobei $f(\bm{x}) = \bm{w} \cdot \bm{x} + b$ und der zweite Term den Hinge-Verlust verwendet.

Eigenschaften und Anwendungsfälle:

3.3. Logistischer Verlust (Binäre Kreuzentropie)

Der Logistische Verlust, auch bekannt als Log-Verlust oder Binäre Kreuzentropie (Binary Cross-Entropy), wird häufig in der Logistischen Regression und in neuronalen Netzen für die binäre Klassifikation verwendet. Er leitet sich vom Prinzip der Maximum-Likelihood-Schätzung unter Annahme einer Bernoulli-Verteilung für die Labels ab.

Formel: Es gibt zwei gebräuchliche Formen, abhängig von der Label- und Ausgabedarstellung.

1. Labels $y \in \{0, 1\}$, Modellausgabe $\hat{p} = P(Y=1|\bm{x}) \in [0, 1]$ (oft $\hat{p} = \sigma(f(\bm{x}))$ wobei $f(\bm{x})$ der Logit ist):

2. Labels $y \in \{-1, +1\}$, Modellausgabe Score $f(\bm{x}) \in \R$:

Diese Form ist äquivalent zur ersten, wenn $\hat{p} = \sigma(f(\bm{x})) = 1 / (1 + e^{-f(\bm{x})})$ und die Labels entsprechend abgebildet werden (z.B. $y_{\text{prob}} = (y_{\text{score}} + 1)/2$).

Herleitung (Maximum Likelihood): Angenommen, die bedingte Wahrscheinlichkeit des Klassenlabels folgt einer Bernoulli-Verteilung: $P(Y=y|\bm{x}) = \hat{p}^y (1-\hat{p})^{1-y}$ für $y \in \{0, 1\}$. Gegeben sei ein Datensatz $\{(\bm{x}_i, y_i)\}_{i=1}^N$. Die Likelihood (Plausibilität) ist $L = \prod_{i=1}^N P(y_i|\bm{x}_i) = \prod_{i=1}^N \hat{p}_i^{y_i} (1-\hat{p}_i)^{1-y_i}$. Die Maximierung der Likelihood ist äquivalent zur Minimierung der negativen Log-Likelihood (NLL):

Der Verlust für ein einzelnes Beispiel ist genau der Logistische Verlust / Binäre Kreuzentropie aus Gl. \eqref{eq:log_loss_prob_de}.

Eigenschaften und Anwendungsfälle:

3.4. Kategorische Kreuzentropie (Categorical Cross-Entropy)

Die Kategorische Kreuzentropie ist die Verallgemeinerung des Logistischen Verlusts auf Multiklassen-Klassifikationsprobleme ($K > 2$ Klassen).

Formel: Erfordert wahre Labels im One-Hot-kodierten Format $\bm{y} \in \{0, 1\}^K$ (wobei $y_k=1$ für die wahre Klasse $k$ und $y_j=0$ für $j \neq k$) und Modellausgaben als Wahrscheinlichkeitsverteilung $\hat{\bm{p}} = (\hat{p}_0, \dots, \hat{p}_{K-1})$, wobei $\hat{p}_k = P(Y=k|\bm{x})$ und $\sum_k \hat{p}_k = 1$. Typischerweise ist $\hat{\bm{p}} = \text{softmax}(\bm{z})$, wobei $\bm{z}$ der Vektor der Logits ist.

Da $\bm{y}$ one-hot ist, überlebt nur der Term, der der wahren Klasse $c$ (wo $y_c=1$) entspricht:

Das bedeutet, der Verlust bestraft das Modell basierend auf der Wahrscheinlichkeit, die es der korrekten Klasse zuweist.

Herleitung (Maximum Likelihood): Angenommen, die bedingte Wahrscheinlichkeit des Klassenlabels folgt einer Multinoulli- (Kategorischen) Verteilung: $P(Y=k|\bm{x}) = \hat{p}_k$. Für eine One-Hot-kodierte Beobachtung $\bm{y}$ (mit $y_c=1$) ist die Wahrscheinlichkeit $P(\bm{y}|\bm{x}) = \prod_{k=0}^{K-1} \hat{p}_k^{y_k} = \hat{p}_c$. Die negative Log-Likelihood für ein einzelnes Beispiel ist $-\log P(\bm{y}|\bm{x}) = -\log(\hat{p}_c)$, was genau der Kategorischen Kreuzentropie entspricht.

Eigenschaften und Anwendungsfälle:

3.5. Quadratischer Hinge-Verlust (Squared Hinge Loss)

Dies ist eine Variante des Hinge-Verlusts, bei der die Strafe quadratisch statt linear ist.

Formel: (für $y \in \{-1, +1\}$ und Score $f(\bm{x})$)

Herleitung: Eine direkte Modifikation des Standard-Hinge-Verlusts, bei der der Term, der die Margin-Verletzung darstellt, quadriert wird.

Eigenschaften und Anwendungsfälle:

3.6. Exponentieller Verlust (Exponential Loss)

Der Exponentielle Verlust weist fehlklassifizierten Punkten eine exponentiell ansteigende Strafe basierend auf ihrem Margin-Score zu. Er ist am bekanntesten durch den AdaBoost-Algorithmus.

Formel: (für $y \in \{-1, +1\}$ und Score $f(\bm{x})$)

Herleitung: AdaBoost kann als ein vorwärts gerichteter stufenweiser additiver Modellierungsalgorithmus hergeleitet werden, der die exponentielle Verlustfunktion optimiert. In jeder Stufe wird ein schwacher Lerner hinzugefügt, um den exponentiellen Gesamtverlust des Ensembles zu minimieren.

Eigenschaften und Anwendungsfälle:

3.7. Vergleich und Zusammenfassung

Die Wahl der richtigen Verlustfunktion hängt vom spezifischen Algorithmus, der gewünschten Ausgabe (Scores vs. Wahrscheinlichkeiten), den Anforderungen an die Robustheit und den rechnerischen Überlegungen ab. Während der Null-Eins-Verlust das wahre Klassifikationsziel darstellt, bieten Surrogat-Verluste wie Hinge-, Logistischer und Exponentieller Verlust rechentechnisch handhabbare Alternativen mit unterschiedlichen Eigenschaften. Die Kreuzentropie (Logistisch und Kategorisch) ist der Standard für probabilistische Modelle, während der Hinge-Verlust mit dem Maximum-Margin-Prinzip von SVMs verbunden ist. Tabelle 2 fasst die Schlüsseleigenschaften und Formeln der besprochenen Verlustfunktionen zusammen. Beachten Sie, dass für die Logistische und Kategorische Kreuzentropie die Formeln mit Wahrscheinlichkeiten ($\hat{p}, \hat{\bm{p}}$) oft direkter in Implementierungen verwendet werden, die Sigmoid- oder Softmax-Aktivierungen beinhalten. Die Formeln mit dem Score $f(\bm{x})$ sind nützlich für den Vergleich mit dem Hinge- und Exponentiellen Verlust.

Tabelle 2: Vergleich von Klassifikations-Verlustfunktionen

Hinweis: $f(\bm{x})$ repräsentiert typischerweise den Rohwert (Score) oder Logit des Modells. $\hat{p}$ und $\hat{\bm{p}}$ repräsentieren vorhergesagte Wahrscheinlichkeiten. Differenzierbarkeit bezieht sich auf stetige Differenzierbarkeit. f.ü. = fast überall.

4. Kontrastive Verlustfunktionen (Contrastive Losses)

Kontrastive Verlustfunktionen sind eine zentrale Komponente des kontrastiven Lernens, einer Methodik, die darauf abzielt, nützliche Repräsentationen von Daten zu lernen, oft ohne explizite Labels (im Rahmen des selbst-überwachten Lernens, Self-Supervised Learning, SSL) oder zur Verbesserung überwachter Modelle (Metric Learning). Die Grundidee besteht darin, eine Einbettungsfunktion (Encoder) $f_\theta$ zu trainieren, die Datenpunkte $\bm{x}$ in einen niedrigdimensionalen Repräsentationsraum (Embedding Space) abbildet ($\bm{h} = f_\theta(\bm{x})$), sodass ähnliche Datenpunkte nahe beieinander und unähnliche Datenpunkte weit voneinander entfernt liegen. Dies wird erreicht, indem man für einen gegebenen Ankerpunkt (anchor) $\bm{h}$:

• Positive Beispiele $\bm{h}^+$ (z.B. andere Transformationen/Augmentationen desselben Datenpunkts, Punkte derselben Klasse) im Repräsentationsraum näher an den Anker heranzieht.
• Negative Beispiele $\bm{h}^-$ (z.B. Datenpunkte aus anderen Bildern/Klassen) vom Anker wegstösst.

Der “Kontrast” entsteht durch den Vergleich der Ähnlichkeit zwischen dem Anker und positiven Beispielen gegenüber der Ähnlichkeit zwischen dem Anker und negativen Beispielen. Die Formulierung des Verlusts hängt entscheidend vom gewählten Ähnlichkeitsmass (Similarity Measure) und der spezifischen Struktur der positiven/negativen Paare oder Tripletts ab. Kontrastives Lernen findet breite Anwendung im selbst-überwachten Lernen für Computer Vision und NLP, im Metric Learning, in Empfehlungssystemen und bei der Gesichtserkennung.

4.1. Ähnlichkeitsmasse (Similarity Measures)

Die Wahl des Ähnlichkeitsmasses ist entscheidend dafür, wie “Nähe” und “Ferne” im Einbettungsraum quantifiziert werden. Die gängigsten Masse sind:

• Kosinus-Ähnlichkeit (Cosine Similarity): Misst den Kosinus des Winkels zwischen zwei Vektoren $\bm{u}$ und $\bm{v}$. Sie ist unempfindlich gegenüber der Magnitude der Vektoren und konzentriert sich auf die Orientierung. Werte liegen im Bereich $[-1, 1]$, wobei 1 perfekte Übereinstimmung, -1 entgegengesetzte Richtung und 0 Orthogonalität bedeutet. Oft verwendet für hochdimensionale Daten (wie Text-Embeddings oder Bild-Features) und typischerweise in Verbindung mit normalisierten Embeddings ($\|\bm{h}\|_2 = 1$).

• Euklidischer Abstand ($L_2$-Distanz): Misst den geradlinigen Abstand zwischen zwei Punkten im Raum. Werte liegen im Bereich $[0, \infty)$. Im Gegensatz zur Kosinus-Ähnlichkeit ist er empfindlich gegenüber der Magnitude. Kontrastive Verluste, die auf Distanz basieren, zielen darauf ab, die Distanz für positive Paare zu minimieren und für negative Paare zu maximieren (oft über eine Marge hinaus). Um ihn als Ähnlichkeitsmass zu interpretieren, kann eine invertierende Transformation verwendet werden (z.B. $\exp(-d^2)$).

• Skalarprodukt (Dot Product): Das einfache Skalarprodukt $\bm{u} \cdot \bm{v}$ kann ebenfalls als Ähnlichkeitsmass dienen. Es ist jedoch stark von den Vektormagnituden abhängig. Wenn die Vektoren auf eine Einheitskugel normiert sind ($\|\bm{u}\|_2 = \|\bm{v}\|_2 = 1$), ist das Skalarprodukt äquivalent zur Kosinus-Ähnlichkeit.

Die Wahl des Masses beeinflusst die Geometrie des erlernten Repräsentationsraums und die Formulierung der Verlustfunktion.

Übersicht der Ähnlichkeits-/Distanzmasse:

4.2. Contrastive Loss (Paar-basiert)

Dies ist eine der frühesten Formulierungen kontrastiven Lernens, oft verwendet in Siamesischen Netzwerken (Hadsell et al., 2006). Der Verlust wird separat für positive und negative Paare definiert.

Erklärung: Für ein Paar von Eingaben $(\bm{x}_1, \bm{x}_2)$ und deren Embeddings $(\bm{h}_1, \bm{h}_2)$ wird ein Label $y$ verwendet ($y=1$ für ein positives Paar, $y=0$ für ein negatives Paar). Das Ziel ist, die Distanz $d = d(\bm{h}_1, \bm{h}_2)$ für positive Paare klein zu halten und für negative Paare sicherzustellen, dass sie grösser als eine definierte Marge $m$ ist. Typischerweise wird der Euklidische Abstand verwendet.

Formel: Der Verlust für einen Datensatz von $N$ Paaren ist:

Hier ist $d_i = d_{\text{euc}}(\bm{h}_{i,1}, \bm{h}_{i,2})$ die Distanz des $i$-ten Paares, $y_i \in \{0, 1\}$ das Label des Paares, und $m > 0$ die Marge. (Manchmal wird $d_i$ statt $d_i^2$ verwendet).

Motivation: Die Formel ist intuitiv:

• Wenn $y_i = 1$ (positives Paar), ist der Verlust $d_i^2$. Die Minimierung dieses Terms zieht positive Paare zusammen.
• Wenn $y_i = 0$ (negatives Paar), ist der Verlust $\max(0, m - d_i)^2$. Dieser Term ist nur dann grösser als null, wenn die Distanz $d_i$ kleiner als die Marge $m$ ist. Die Minimierung bestraft also negative Paare, die zu nah beieinander liegen, und drängt sie auseinander, bis ihre Distanz mindestens $m$ beträgt.

Eigenschaften und Herausforderungen:

4.3. Triplet Loss

Der Triplet Loss (Weinberger et al., 2006; Schroff et al., 2015 - FaceNet) verwendet statt Paaren sogenannte Tripletts, bestehend aus einem Anker-, einem positiven und einem negativen Beispiel.

Erklärung: Für jedes Triplett $(\bm{x}_a, \bm{x}_p, \bm{x}_n)$ mit Embeddings $(\bm{h}_a, \bm{h}_p, \bm{h}_n)$ soll der Abstand zwischen Anker und Positivem $d(a, p)$ kleiner sein als der Abstand zwischen Anker und Negativem $d(a, n)$, und zwar um eine Marge $m$.

Formel: Der Verlust über $N$ Tripletts ist:

Auch hier wird oft der Euklidische Abstand verwendet, und manchmal werden die Distanzen nicht quadriert. $m > 0$ ist die Marge.

Motivation: Der Verlustterm ist nur dann positiv, wenn $d(a, n)^2 < d(a, p)^2 + m$. Die Minimierung des Verlusts erzwingt also $d(a, p)^2 + m \le d(a, n)^2$. Dies stellt sicher, dass der Anker dem positiven Beispiel signifikant näher ist als dem negativen Beispiel.

Triplet Mining: Eine grosse Herausforderung ist die Auswahl von informativen Tripletts. Zufällige Tripletts führen oft zu einem Verlust von null (wenn die Bedingung bereits erfüllt ist) und somit zu langsamer Konvergenz. Strategien wie “Hard Negative Mining” (Auswahl von negativen Beispielen, die der Marge am nächsten kommen oder sie verletzen) sind entscheidend für den Erfolg.

Eigenschaften und Herausforderungen:

4.4. InfoNCE / NT-Xent Loss

InfoNCE (Information Noise Contrastive Estimation) ist ein moderner kontrastiver Verlust, der insbesondere im selbst-überwachten Lernen (SSL) sehr erfolgreich ist (z.B. in CPC, SimCLR, MoCo). NT-Xent (Normalized Temperature-scaled Cross Entropy) ist eine spezifische Implementierung davon, die in SimCLR verwendet wird.

Erklärung: Die Kernidee ist, das kontrastive Lernen als ein Klassifikationsproblem zu formulieren: Für einen Anker $\bm{h}_i$ soll sein positives Beispiel $\bm{h}_{i^+}$ aus einer Menge von $K$ negativen Beispielen $\{\bm{h}_{k}^-\}$ korrekt identifiziert werden. Dies basiert auf der Maximierung der unteren Schranke der gegenseitigen Information (Mutual Information) zwischen verschiedenen “Sichten” (z.B. Augmentationen) desselben Datenpunkts. Typischerweise werden Kosinus-Ähnlichkeit und ein Temperatur-Skalierungsfaktor $\tau$ verwendet.

Formel (InfoNCE): Für einen Anker $\bm{h}_i$, sein positives Beispiel $\bm{h}_{i^+}$ und $K$ negative Beispiele $\{\bm{h}_{k}^-\}_{k=1}^K$:

Dies hat die Form einer Softmax-Kreuzentropie, wobei die Logits durch die skalierten Ähnlichkeiten gegeben sind. $\text{sim}$ ist typischerweise die Kosinus-Ähnlichkeit.

Formel (NT-Xent - SimCLR Variante): In SimCLR werden für jedes Bild $\bm{x}$ in einem Batch der Grösse $N$ zwei augmentierte Versionen erzeugt, was zu $2N$ Embeddings $(\bm{h}_1, ..., \bm{h}_{2N})$ führt. Für ein positives Paar $(\bm{h}_i, \bm{h}_j)$ (die von demselben Originalbild stammen) werden alle anderen $2(N-1)$ Embeddings im Batch als negative Beispiele betrachtet. Der Verlust für das Paar $(i, j)$ ist:

Der Gesamtverlust ist der Durchschnitt von $\ell_{i,j} + \ell_{j,i}$ über alle positiven Paare $(i, j)$ im Batch.

Temperatur $\tau$: Der Temperaturparameter $\tau$ (typischerweise ein kleiner Wert wie 0.1 oder 0.07) skaliert die Ähnlichkeiten vor der Softmax-Funktion. Eine niedrige Temperatur erhöht die Konzentration der Verteilung und gewichtet “harte” negative Beispiele (solche, die dem Anker ähnlich sind) stärker.

Eigenschaften und Herausforderungen:

4.5. Vergleich Kontrastiver Verlustfunktionen

Kontrastive Verlustfunktionen bieten flexible Werkzeuge zum Lernen von Repräsentationen durch Vergleich. Die Wahl der Funktion hängt von der Aufgabe und den verfügbaren Daten ab. Die paar-basierte Contrastive Loss und die Triplet Loss sind oft im Metric Learning und bei Verifikationsaufgaben zu finden, wo explizite positive/negative Beziehungen (oft durch Labels) definiert sind oder leicht abgeleitet werden können; sie erfordern jedoch sorgfältiges Sampling oder Mining. InfoNCE/NT-Xent dominiert im modernen selbst-überwachten Lernen, wo positive Paare durch Datenaugmentation erzeugt werden und eine grosse Menge an negativen Beispielen (oft der Rest des Batches) verwendet wird, um robuste, allgemeine Repräsentationen zu lernen. Die Wahl des Ähnlichkeitsmasses ist ebenfalls entscheidend, wobei Kosinus-Ähnlichkeit bei InfoNCE und Euklidischer Abstand bei den älteren Methoden vorherrschen. Tabelle 3 fasst die Hauptunterschiede zusammen.

Tabelle 3: Vergleich von Kontrastiven Verlustfunktionen

Hinweis: SSL = Self-Supervised Learning. $m$ = Marge, $\tau$ = Temperatur.

5. Adversariale Verlustfunktionen (Adversarial Losses)

Adversariale Verlustfunktionen sind das Herzstück von Generative Adversarial Networks (GANs), einem populären Ansatz im Bereich der generativen Modellierung. GANs bestehen typischerweise aus zwei Komponenten, die in einem Minimax-Spiel gegeneinander antreten:

• Generator (G): Versucht, Daten zu erzeugen (z.B. Bilder, Texte), die von echten Daten nicht zu unterscheiden sind. Er nimmt einen Zufallsvektor $\bm{z}$ aus einem Prior-Raum (z.B. einer Normalverteilung $p_z$) als Eingabe und erzeugt eine synthetische Probe $G(\bm{z})$. Das Ziel ist es, die Verteilung $p_g$ der generierten Daten so zu formen, dass sie der Verteilung $p_{data}$ der echten Daten $\bm{x}$ möglichst ähnlich ist.
• Diskriminator (D): Versucht zu entscheiden, ob eine gegebene Datenprobe echt (aus $p_{data}$) oder künstlich (aus $p_g$, also von G erzeugt) ist. Er gibt typischerweise einen Wert aus, der die Wahrscheinlichkeit (oder einen Score) repräsentiert, dass die Eingabe echt ist.

Der “adversariale Verlust” ergibt sich aus diesem kompetitiven Prozess. Der Diskriminator wird trainiert, um echte und künstliche Proben korrekt zu klassifizieren, während der Generator trainiert wird, um Proben zu erzeugen, die den Diskriminator täuschen. Dieses dynamische Gleichgewicht führt im Idealfall dazu, dass der Generator lernt, realistische Daten zu erzeugen. Verschiedene Formulierungen des adversarialen Verlusts wurden vorgeschlagen, um unterschiedliche Distanzmasse zwischen $p_{data}$ und $p_g$ zu optimieren oder um häufig auftretende Trainingsprobleme wie Modenkollaps (Mode Collapse) oder verschwindende Gradienten (Vanishing Gradients) zu mildern. Wir verwenden die folgende Notation: $\bm{x} \sim p_{data}$ ist eine echte Datenprobe, $\bm{z} \sim p_z$ ist ein Rauschvektor, $G(\bm{z})$ ist eine generierte (künstliche) Probe, $D(\bm{x})$ ist die Ausgabe des Diskriminators für eine echte Probe, und $D(G(\bm{z}))$ ist die Ausgabe des Diskriminators für eine künstliche Probe. $\mathbb{E}_{\bm{x} \sim p_{data}}[\cdot]$ bezeichnet den Erwartungswert über die echte Datenverteilung und $\mathbb{E}_{\bm{z} \sim p_z}[\cdot]$ den Erwartungswert über die Prior-Verteilung des Rauschens.