Schnelles Best-of-N-Decodieren durch spekulative Ablehnung.

Fast Best-of-N Decoding via Speculative Rejection

October 26, 2024

Autoren: Hanshi Sun, Momin Haider, Ruiqi Zhang, Huitao Yang, Jiahao Qiu, Ming Yin, Mengdi Wang, Peter Bartlett, Andrea Zanette

cs.AI

Zusammenfassung

Die sichere und effektive Bereitstellung von Large Language Models (LLMs) beinhaltet einen entscheidenden Schritt namens Ausrichtung, der sicherstellt, dass die Antworten des Modells mit menschlichen Präferenzen übereinstimmen. Vorherrschende Ausrichtungstechniken wie DPO, PPO und deren Varianten richten LLMs aus, indem sie die vortrainierten Modellgewichte während einer Phase namens Post-Training ändern. Obwohl vorherrschend, fügen diese post-training Methoden erhebliche Komplexität hinzu, bevor LLMs eingesetzt werden können. Ausrichtungsmethoden zur Inferenzzeit umgehen den komplexen Post-Training-Schritt und lenken stattdessen die Generierung auf Antworten, die mit menschlichen Präferenzen übereinstimmen. Die bekannteste Ausrichtungsmethode zur Inferenzzeit, genannt Best-of-N, ist genauso effektiv wie die modernsten post-training Verfahren. Leider erfordert Best-of-N bei der Inferenzzeit erheblich mehr Ressourcen als Standard-Decodierungsstrategien, was es rechnerisch nicht machbar macht. In dieser Arbeit stellen wir Speculative Rejection vor, einen rechnerisch machbaren Ausrichtungsalgorithmus zur Inferenzzeit. Er generiert hoch bewertete Antworten gemäß eines gegebenen Belohnungsmodells, ähnlich wie Best-of-N, und ist dabei zwischen 16 und 32 Mal rechnerisch effizienter.

English

The safe and effective deployment of Large Language Models (LLMs) involves a critical step called alignment, which ensures that the model's responses are in accordance with human preferences. Prevalent alignment techniques, such as DPO, PPO and their variants, align LLMs by changing the pre-trained model weights during a phase called post-training. While predominant, these post-training methods add substantial complexity before LLMs can be deployed. Inference-time alignment methods avoid the complex post-training step and instead bias the generation towards responses that are aligned with human preferences. The best-known inference-time alignment method, called Best-of-N, is as effective as the state-of-the-art post-training procedures. Unfortunately, Best-of-N requires vastly more resources at inference time than standard decoding strategies, which makes it computationally not viable. In this work, we introduce Speculative Rejection, a computationally-viable inference-time alignment algorithm. It generates high-scoring responses according to a given reward model, like Best-of-N does, while being between 16 to 32 times more computationally efficient.