Décodage rapide du meilleur parmi N via rejet spéculatif

Fast Best-of-N Decoding via Speculative Rejection

October 26, 2024

Auteurs: Hanshi Sun, Momin Haider, Ruiqi Zhang, Huitao Yang, Jiahao Qiu, Ming Yin, Mengdi Wang, Peter Bartlett, Andrea Zanette

cs.AI

Résumé

Le déploiement sûr et efficace des Grands Modèles de Langage (GML) implique une étape critique appelée alignement, qui garantit que les réponses du modèle sont conformes aux préférences humaines. Les techniques d'alignement courantes, telles que DPO, PPO et leurs variantes, alignent les GML en modifiant les poids du modèle pré-entraîné lors d'une phase appelée post-entraînement. Bien que prédominantes, ces méthodes de post-entraînement ajoutent une complexité substantielle avant que les GML ne puissent être déployés. Les méthodes d'alignement au moment de l'inférence évitent l'étape complexe de post-entraînement et orientent plutôt la génération vers des réponses alignées sur les préférences humaines. La méthode d'alignement au moment de l'inférence la plus connue, appelée Best-of-N, est aussi efficace que les procédures de post-entraînement de pointe. Malheureusement, Best-of-N nécessite beaucoup plus de ressources au moment de l'inférence que les stratégies de décodage standard, ce qui le rend computationnellement non viable. Dans ce travail, nous introduisons le Rejet Spéculatif, un algorithme d'alignement au moment de l'inférence computationnellement viable. Il génère des réponses à score élevé selon un modèle de récompense donné, comme le fait Best-of-N, tout en étant entre 16 et 32 fois plus efficace sur le plan computationnel.

English

The safe and effective deployment of Large Language Models (LLMs) involves a critical step called alignment, which ensures that the model's responses are in accordance with human preferences. Prevalent alignment techniques, such as DPO, PPO and their variants, align LLMs by changing the pre-trained model weights during a phase called post-training. While predominant, these post-training methods add substantial complexity before LLMs can be deployed. Inference-time alignment methods avoid the complex post-training step and instead bias the generation towards responses that are aligned with human preferences. The best-known inference-time alignment method, called Best-of-N, is as effective as the state-of-the-art post-training procedures. Unfortunately, Best-of-N requires vastly more resources at inference time than standard decoding strategies, which makes it computationally not viable. In this work, we introduce Speculative Rejection, a computationally-viable inference-time alignment algorithm. It generates high-scoring responses according to a given reward model, like Best-of-N does, while being between 16 to 32 times more computationally efficient.