Ottimizzazione diretta delle preferenze utilizzando vincoli sparsi a livello di caratteristiche.

Direct Preference Optimization Using Sparse Feature-Level Constraints

November 12, 2024

Autori: Qingyu Yin, Chak Tou Leong, Hongbo Zhang, Minjun Zhu, Hanqi Yan, Qiang Zhang, Yulan He, Wenjie Li, Jun Wang, Yue Zhang, Linyi Yang

cs.AI

Abstract

L'allineamento dei grandi modelli linguistici (LLM) con le preferenze umane rimane una sfida chiave. Mentre le tecniche di post-addestramento come il Reinforcement Learning from Human Feedback (RLHF) e l'ottimizzazione diretta delle preferenze (DPO) hanno ottenuto successi notevoli, spesso introducono inefficienze computazionali e instabilità nell'addestramento. In questo articolo, proponiamo l'Ottimizzazione delle Preferenze a livello di Caratteristica (FPO), un nuovo metodo progettato per semplificare il processo di allineamento garantendo al contempo la stabilità. FPO sfrutta Sparse Autoencoder (SAE) pre-addestrati e introduce vincoli a livello di caratteristica, consentendo un allineamento efficiente e forzato alla sparità. Il nostro approccio gode di efficienza utilizzando caratteristiche sparse attivate in un autoencoder sparso ben addestrato e della qualità della divergenza KL sequenziale utilizzando il riferimento offline a livello di caratteristica. I risultati sperimentali su dataset di riferimento dimostrano che FPO raggiunge un miglioramento assoluto del 5,08% nel tasso di vincita con un costo computazionale molto inferiore rispetto alle basi di confronto all'avanguardia, rendendolo una soluzione promettente per allineamenti LLM efficienti e controllabili.

English

The alignment of large language models (LLMs) with human preferences remains a key challenge. While post-training techniques like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO) have achieved notable success, they often introduce computational inefficiencies and training instability. In this paper, we propose Feature-level constrained Preference Optimization (FPO), a novel method designed to simplify the alignment process while ensuring stability. FPO leverages pre-trained Sparse Autoencoders (SAEs) and introduces feature-level constraints, allowing for efficient, sparsity-enforced alignment. Our approach enjoys efficiency by using sparse features activated in a well-trained sparse autoencoder and the quality of sequential KL divergence by using the feature-level offline reference. Experimental results on benchmark datasets demonstrate that FPO achieves a 5.08% absolute improvement in win rate with much lower computational cost compared to state-of-the-art baselines, making it a promising solution for efficient and controllable LLM alignments.