Eine häufige Falle bei der auf Margin basierenden Ausrichtung von Sprachmodellen: Gradientenverflechtung

A Common Pitfall of Margin-based Language Model Alignment: Gradient Entanglement

October 17, 2024

Autoren: Hui Yuan, Yifan Zeng, Yue Wu, Huazheng Wang, Mengdi Wang, Liu Leqi

cs.AI

Zusammenfassung

Das Lernen durch Verstärkung aus menschlichem Feedback (RLHF) hat sich als vorherrschender Ansatz für die Ausrichtung von Sprachmodellen (LM) etabliert. Im Kern verwendet RLHF einen margenbasierten Verlust zur Präferenzoptimierung, der das ideale Verhalten des LM nur durch den Unterschied zwischen bevorzugten und nicht bevorzugten Antworten spezifiziert. In diesem Paper identifizieren wir eine häufige Fallstricke margenbasierter Methoden - die unzureichende Spezifikation des idealen LM-Verhaltens bei bevorzugten und nicht bevorzugten Antworten einzeln, was zu zwei unbeabsichtigten Konsequenzen führt, wenn der Abstand zunimmt: (1) Die Wahrscheinlichkeit von nicht bevorzugten (z. B. unsicheren) Antworten kann steigen, was zu potenziellen Sicherheitsausrichtungsfehlern führt. (2) Die Wahrscheinlichkeit von bevorzugten Antworten kann abnehmen, selbst wenn diese ideal sind. Wir entschlüsseln die Gründe hinter diesen problematischen Verhaltensweisen: Margenbasierte Verluste koppeln die Änderung der bevorzugten Wahrscheinlichkeit an den Gradienten der nicht bevorzugten, und umgekehrt, was oft die bevorzugte Wahrscheinlichkeit daran hindert, zu steigen, während die nicht bevorzugte abnimmt, und somit eine synchronisierte Zunahme oder Abnahme beider Wahrscheinlichkeiten verursacht. Wir bezeichnen diesen Effekt, der in margenbasierten Zielfunktionen inhärent ist, als Gradientenverflechtung. Formal leiten wir Bedingungen für allgemeine margenbasierte Ausrichtungsziele her, unter denen Gradientenverflechtung besorgniserregend wird: das Skalarprodukt der Gradienten der bevorzugten und nicht bevorzugten Log-Wahrscheinlichkeiten ist groß im Vergleich zu den individuellen Gradientennormen. Wir untersuchen theoretisch, warum solche Skalarprodukte groß sein können, wenn Sprachmodelle ausgerichtet werden, und validieren unsere Ergebnisse empirisch. Die empirischen Implikationen unseres Rahmens erstrecken sich darauf, wichtige Unterschiede in der Trainingsdynamik verschiedener Präferenzoptimierungsalgorithmen zu erklären und potenzielle Algorithmusdesigns vorzuschlagen, um das Problem der unzureichenden Spezifikation margenbasierter Methoden zu mildern und somit die Ausrichtung von Sprachmodellen zu verbessern.

English

Reinforcement Learning from Human Feedback (RLHF) has become the predominant approach for language model (LM) alignment. At its core, RLHF uses a margin-based loss for preference optimization, specifying ideal LM behavior only by the difference between preferred and dispreferred responses. In this paper, we identify a common pitfall of margin-based methods -- the under-specification of ideal LM behavior on preferred and dispreferred responses individually, which leads to two unintended consequences as the margin increases: (1) The probability of dispreferred (e.g., unsafe) responses may increase, resulting in potential safety alignment failures. (2) The probability of preferred responses may decrease, even when those responses are ideal. We demystify the reasons behind these problematic behaviors: margin-based losses couple the change in the preferred probability to the gradient of the dispreferred one, and vice versa, often preventing the preferred probability from increasing while the dispreferred one decreases, and thus causing a synchronized increase or decrease in both probabilities. We term this effect, inherent in margin-based objectives, gradient entanglement. Formally, we derive conditions for general margin-based alignment objectives under which gradient entanglement becomes concerning: the inner product of the gradients of preferred and dispreferred log-probabilities is large relative to the individual gradient norms. We theoretically investigate why such inner products can be large when aligning language models and empirically validate our findings. Empirical implications of our framework extend to explaining important differences in the training dynamics of various preference optimization algorithms, and suggesting potential algorithm designs to mitigate the under-specification issue of margin-based methods and thereby improving language model alignment.