Snelle Best-of-N Decodering via Speculatieve Afwijzing

Fast Best-of-N Decoding via Speculative Rejection

October 26, 2024

Auteurs: Hanshi Sun, Momin Haider, Ruiqi Zhang, Huitao Yang, Jiahao Qiu, Ming Yin, Mengdi Wang, Peter Bartlett, Andrea Zanette

cs.AI

Samenvatting

De veilige en effectieve implementatie van Grote Taalmodellen (LLMs) omvat een cruciale stap genaamd afstemming, die ervoor zorgt dat de reacties van het model in overeenstemming zijn met menselijke voorkeuren. Gangbare afstemmingstechnieken, zoals DPO, PPO en hun varianten, stemmen LLM's af door de vooraf getrainde modelgewichten te wijzigen tijdens een fase genaamd post-training. Hoewel overheersend, voegen deze post-training methoden aanzienlijke complexiteit toe voordat LLM's kunnen worden geïmplementeerd. Afstemmingsmethoden op inferentietijd vermijden de complexe post-training stap en sturen in plaats daarvan de generatie aan naar reacties die in lijn zijn met menselijke voorkeuren. De bekendste afstemmingsmethode op inferentietijd, genaamd Best-of-N, is even effectief als de meest geavanceerde post-training procedures. Helaas vereist Best-of-N aanzienlijk meer middelen op inferentietijd dan standaard decoderingsstrategieën, waardoor het computationeel niet haalbaar is. In dit werk introduceren we Speculatieve Afwijzing, een computationeel haalbaar afstemmingsalgoritme op inferentietijd. Het genereert hoog scorende reacties volgens een gegeven beloningsmodel, net zoals Best-of-N dat doet, terwijl het tussen de 16 en 32 keer efficiënter is qua rekenkracht.

English

The safe and effective deployment of Large Language Models (LLMs) involves a critical step called alignment, which ensures that the model's responses are in accordance with human preferences. Prevalent alignment techniques, such as DPO, PPO and their variants, align LLMs by changing the pre-trained model weights during a phase called post-training. While predominant, these post-training methods add substantial complexity before LLMs can be deployed. Inference-time alignment methods avoid the complex post-training step and instead bias the generation towards responses that are aligned with human preferences. The best-known inference-time alignment method, called Best-of-N, is as effective as the state-of-the-art post-training procedures. Unfortunately, Best-of-N requires vastly more resources at inference time than standard decoding strategies, which makes it computationally not viable. In this work, we introduce Speculative Rejection, a computationally-viable inference-time alignment algorithm. It generates high-scoring responses according to a given reward model, like Best-of-N does, while being between 16 to 32 times more computationally efficient.