Un piège courant de l'alignement de modèles de langage basé sur la marge : l'enchevêtrement de gradients.

A Common Pitfall of Margin-based Language Model Alignment: Gradient Entanglement

October 17, 2024

Auteurs: Hui Yuan, Yifan Zeng, Yue Wu, Huazheng Wang, Mengdi Wang, Liu Leqi

cs.AI

Résumé

L'apprentissage par renforcement à partir des retours humains (RLHF) est devenu l'approche prédominante pour l'alignement des modèles de langage (LM). Fondamentalement, le RLHF utilise une perte basée sur la marge pour l'optimisation des préférences, spécifiant le comportement idéal du LM uniquement par la différence entre les réponses préférées et non préférées. Dans cet article, nous identifions une erreur commune des méthodes basées sur la marge - la sous-spécification du comportement idéal du LM sur les réponses préférées et non préférées individuellement, ce qui entraîne deux conséquences non voulues à mesure que la marge augmente : (1) La probabilité de réponses non préférées (par exemple, non sécurisées) peut augmenter, entraînant des échecs potentiels d'alignement de sécurité. (2) La probabilité de réponses préférées peut diminuer, même lorsque ces réponses sont idéales. Nous clarifions les raisons derrière ces comportements problématiques : les pertes basées sur la marge couplent le changement de la probabilité préférée au gradient de la probabilité non préférée, et vice versa, empêchant souvent l'augmentation de la probabilité préférée tandis que celle de la probabilité non préférée diminue, entraînant ainsi une augmentation ou une diminution synchronisée des deux probabilités. Nous nommons cet effet, inhérent aux objectifs basés sur la marge, l'enchevêtrement des gradients. Formellement, nous dérivons des conditions pour des objectifs d'alignement basés sur la marge généraux sous lesquelles l'enchevêtrement des gradients devient préoccupant : le produit scalaire des gradients des log-probabilités préférées et non préférées est grand par rapport aux normes de gradient individuelles. Nous étudions théoriquement pourquoi de tels produits scalaires peuvent être importants lors de l'alignement des modèles de langage et validons empiriquement nos résultats. Les implications empiriques de notre cadre s'étendent à l'explication des différences importantes dans la dynamique d'entraînement de divers algorithmes d'optimisation des préférences, et suggèrent des conceptions d'algorithmes potentielles pour atténuer le problème de sous-spécification des méthodes basées sur la marge et ainsi améliorer l'alignement des modèles de langage.

English

Reinforcement Learning from Human Feedback (RLHF) has become the predominant approach for language model (LM) alignment. At its core, RLHF uses a margin-based loss for preference optimization, specifying ideal LM behavior only by the difference between preferred and dispreferred responses. In this paper, we identify a common pitfall of margin-based methods -- the under-specification of ideal LM behavior on preferred and dispreferred responses individually, which leads to two unintended consequences as the margin increases: (1) The probability of dispreferred (e.g., unsafe) responses may increase, resulting in potential safety alignment failures. (2) The probability of preferred responses may decrease, even when those responses are ideal. We demystify the reasons behind these problematic behaviors: margin-based losses couple the change in the preferred probability to the gradient of the dispreferred one, and vice versa, often preventing the preferred probability from increasing while the dispreferred one decreases, and thus causing a synchronized increase or decrease in both probabilities. We term this effect, inherent in margin-based objectives, gradient entanglement. Formally, we derive conditions for general margin-based alignment objectives under which gradient entanglement becomes concerning: the inner product of the gradients of preferred and dispreferred log-probabilities is large relative to the individual gradient norms. We theoretically investigate why such inner products can be large when aligning language models and empirically validate our findings. Empirical implications of our framework extend to explaining important differences in the training dynamics of various preference optimization algorithms, and suggesting potential algorithm designs to mitigate the under-specification issue of margin-based methods and thereby improving language model alignment.