Kernel DPO: Un paradigma consapevole semanticamente, potenziato da kernel e ricco di divergenza per l'ottimizzazione diretta delle preferenze.

DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization

January 5, 2025

Autori: Amitava Das, Suranjana Trivedy, Danush Khanna, Rajarshi Roy, Gurpreet Singh, Basab Ghosh, Yaswanth Narsupalli, Vinija Jain, Vasu Sharma, Aishwarya Naresh Reganti, Aman Chadha

cs.AI

Abstract

La rapida diffusione dei grandi modelli linguistici (LLM) ha aperto molte possibilità di applicazione, ma sottolinea anche la sfida di allinearli con valori e preferenze diverse. L'ottimizzazione diretta delle preferenze (DPO) è fondamentale per l'allineamento, ma è limitata da divergenze fisse e trasformazioni di caratteristiche limitate. Proponiamo i DPO-Kernels, che integrano metodi kernel per affrontare tali problematiche attraverso quattro contributi chiave: (i) Rappresentazioni Kernelizzate con kernel polinomiali, RBF, Mahalanobis e spettrali per trasformazioni più ricche, oltre a una perdita ibrida che combina obiettivi basati sull'incorporamento e sulla probabilità; (ii) Alternative di Divergenza (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein e divergenze f) per una maggiore stabilità; (iii) Metriche di Selezione basate sui Dati che scelgono automaticamente la migliore coppia kernel-divergenza; e (iv) una Miscela Gerarchica di Kernel per una precisione locale e una modellazione globale. Le valutazioni su 12 set di dati dimostrano prestazioni all'avanguardia in termini di fattualità, sicurezza, ragionamento e seguire le istruzioni. Radicati nella Auto-regolarizzazione Heavy-Tailed, i DPO-Kernels mantengono una robusta generalizzazione per i LLM, offrendo una risorsa completa per ulteriori ricerche sull'allineamento.

English

The rapid rise of large language models (LLMs) has unlocked many applications but also underscores the challenge of aligning them with diverse values and preferences. Direct Preference Optimization (DPO) is central to alignment but constrained by fixed divergences and limited feature transformations. We propose DPO-Kernels, which integrates kernel methods to address these issues through four key contributions: (i) Kernelized Representations with polynomial, RBF, Mahalanobis, and spectral kernels for richer transformations, plus a hybrid loss combining embedding-based and probability-based objectives; (ii) Divergence Alternatives (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein, and f-divergences) for greater stability; (iii) Data-Driven Selection metrics that automatically choose the best kernel-divergence pair; and (iv) a Hierarchical Mixture of Kernels for both local precision and global modeling. Evaluations on 12 datasets demonstrate state-of-the-art performance in factuality, safety, reasoning, and instruction following. Grounded in Heavy-Tailed Self-Regularization, DPO-Kernels maintains robust generalization for LLMs, offering a comprehensive resource for further alignment research.