Versnellen van Directe Voorkeursoptimalisatie met Prefix Delen

Accelerating Direct Preference Optimization with Prefix Sharing

October 27, 2024

Auteurs: Franklin Wang, Sumanth Hegde

cs.AI

Samenvatting

Offline gecombineerde voorkeur optimalisatiealgoritmen zijn een populaire benadering geworden voor het verfijnen van voorkeursgegevens, waarbij ze traditionele begeleide verfijning overtreffen in verschillende taken. Traditionele implementaties omvatten echter vaak overbodige berekeningen, vooral voor taken met lange gedeelde prompts. We introduceren prefix delen voor voorkeurafstemming, een nieuwe techniek die gekozen en afgewezen reacties verwerkt als één sequentie met een gedeeld voorvoegsel. Om contaminatie tussen reacties te voorkomen, gebruiken we een aangepast blok-sparse aandachtsmasker. Onze methode behaalt een verbetering van 1,1-1,5 keer in trainingsdoorvoer op populaire DPO-datasets, zonder enig effect op convergentie. Wanneer gecombineerd met sequentieverpakking, observeren we consistente 1,3-1,6 keer versnellingen, wat zelfs ten goede komt aan datasets met kleinere sequentielengtes. Hoewel we ons richten op Directe VoorkeursOptimalisatie (DPO), is onze benadering toepasbaar op andere gecombineerde voorkeursafstemmingsmethoden. Door de computationele efficiëntie te verbeteren, draagt ons werk bij aan het toegankelijker maken van voorkeursgebaseerde verfijning voor een breder scala aan toepassingen en modelgroottes. We stellen onze code beschikbaar op https://github.com/frankxwang/dpo-prefix-sharing.

English

Offline paired preference optimization algorithms have become a popular approach for fine-tuning on preference data, outperforming traditional supervised fine-tuning in various tasks. However, traditional implementations often involve redundant computations, especially for tasks with long shared prompts. We introduce prefix sharing for preference tuning, a novel technique that processes chosen and rejected responses as one sequence with a shared prefix. To prevent cross-response contamination, we use a custom block-sparse attention mask. Our method achieves 1.1-1.5times improvement in training throughput on popular DPO datasets, without any effect on convergence. When combined with sequence packing, we observe consistent 1.3-1.6times speedups, benefiting even datasets with smaller sequence lengths. While we focus on Direct Preference Optimization (DPO), our approach is applicable to other paired preference tuning methods. By enhancing computational efficiency, our work contributes to making preference-based fine-tuning more accessible for a wider range of applications and model sizes. We open-source our code at https://github.com/frankxwang/dpo-prefix-sharing.