Núcleos DPO: Um Paradigma Semântico-Consciente, Aprimorado por Núcleos e Rico em Divergência para Otimização Direta de Preferência

DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization

January 5, 2025

Autores: Amitava Das, Suranjana Trivedy, Danush Khanna, Rajarshi Roy, Gurpreet Singh, Basab Ghosh, Yaswanth Narsupalli, Vinija Jain, Vasu Sharma, Aishwarya Naresh Reganti, Aman Chadha

cs.AI

Resumo

O rápido crescimento dos grandes modelos de linguagem (LLMs) desbloqueou muitas aplicações, mas também destaca o desafio de alinhá-los com valores e preferências diversas. A Otimização Direta de Preferência (DPO) é central para o alinhamento, porém limitada por divergências fixas e transformações de características limitadas. Propomos os Núcleos DPO, que integram métodos de núcleo para lidar com essas questões através de quatro contribuições-chave: (i) Representações Kernelizadas com núcleos polinomiais, RBF, Mahalanobis e espectrais para transformações mais ricas, além de uma perda híbrida que combina objetivos baseados em incorporação e baseados em probabilidade; (ii) Alternativas de Divergência (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein e f-divergências) para maior estabilidade; (iii) Métricas de Seleção Dirigidas por Dados que escolhem automaticamente o melhor par núcleo-divergência; e (iv) uma Mistura Hierárquica de Núcleos para precisão local e modelagem global. Avaliações em 12 conjuntos de dados demonstram desempenho de ponta em factualidade, segurança, raciocínio e seguimento de instruções. Fundamentado em Auto-Regularização de Cauda Pesada, os Núcleos DPO mantêm uma generalização robusta para LLMs, oferecendo um recurso abrangente para pesquisas adicionais de alinhamento.

English

The rapid rise of large language models (LLMs) has unlocked many applications but also underscores the challenge of aligning them with diverse values and preferences. Direct Preference Optimization (DPO) is central to alignment but constrained by fixed divergences and limited feature transformations. We propose DPO-Kernels, which integrates kernel methods to address these issues through four key contributions: (i) Kernelized Representations with polynomial, RBF, Mahalanobis, and spectral kernels for richer transformations, plus a hybrid loss combining embedding-based and probability-based objectives; (ii) Divergence Alternatives (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein, and f-divergences) for greater stability; (iii) Data-Driven Selection metrics that automatically choose the best kernel-divergence pair; and (iv) a Hierarchical Mixture of Kernels for both local precision and global modeling. Evaluations on 12 datasets demonstrate state-of-the-art performance in factuality, safety, reasoning, and instruction following. Grounded in Heavy-Tailed Self-Regularization, DPO-Kernels maintains robust generalization for LLMs, offering a comprehensive resource for further alignment research.