Direkte Präferenzoptimierung unter Verwendung von spärlichen Merkmalsniveau-Einschränkungen

Direct Preference Optimization Using Sparse Feature-Level Constraints

November 12, 2024

Autoren: Qingyu Yin, Chak Tou Leong, Hongbo Zhang, Minjun Zhu, Hanqi Yan, Qiang Zhang, Yulan He, Wenjie Li, Jun Wang, Yue Zhang, Linyi Yang

cs.AI

Zusammenfassung

Die Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Präferenzen bleibt eine zentrale Herausforderung. Während post-training Techniken wie Verstärkungslernen aus menschlichem Feedback (RLHF) und Direkte Präferenzoptimierung (DPO) beachtliche Erfolge erzielt haben, führen sie oft zu Rechenineffizienzen und Trainingsinstabilität. In diesem Artikel schlagen wir Feature-Level-beschränkte Präferenzoptimierung (FPO) vor, eine neuartige Methode, die darauf abzielt, den Ausrichtungsprozess zu vereinfachen und gleichzeitig Stabilität zu gewährleisten. FPO nutzt vortrainierte Sparse Autoencoder (SAEs) und führt Feature-Level-Beschränkungen ein, die eine effiziente, sparsam erzwungene Ausrichtung ermöglichen. Unser Ansatz zeichnet sich durch Effizienz aus, indem er spärliche Merkmale verwendet, die in einem gut trainierten sparsamen Autoencoder aktiviert sind, und die Qualität der sequenziellen KL-Divergenz durch Verwendung des Feature-Level-Offline-Referenzwertes. Experimentelle Ergebnisse auf Benchmark-Datensätzen zeigen, dass FPO eine absolute Verbesserung des Gewinnanteils um 5,08% bei wesentlich geringeren Rechenkosten im Vergleich zu modernsten Baselines erzielt, was es zu einer vielversprechenden Lösung für effiziente und kontrollierbare LLM-Ausrichtungen macht.

English

The alignment of large language models (LLMs) with human preferences remains a key challenge. While post-training techniques like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO) have achieved notable success, they often introduce computational inefficiencies and training instability. In this paper, we propose Feature-level constrained Preference Optimization (FPO), a novel method designed to simplify the alignment process while ensuring stability. FPO leverages pre-trained Sparse Autoencoders (SAEs) and introduces feature-level constraints, allowing for efficient, sparsity-enforced alignment. Our approach enjoys efficiency by using sparse features activated in a well-trained sparse autoencoder and the quality of sequential KL divergence by using the feature-level offline reference. Experimental results on benchmark datasets demonstrate that FPO achieves a 5.08% absolute improvement in win rate with much lower computational cost compared to state-of-the-art baselines, making it a promising solution for efficient and controllable LLM alignments.