Поиск оптимального баланса: создание данных о предпочтениях для масштабирования оптимизации предпочтений

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization

February 24, 2025

Авторы: Yao Xiao, Hai Ye, Linyao Chen, Hwee Tou Ng, Lidong Bing, Xiaoli Li, Roy Ka-wei Lee

cs.AI

Аннотация

Итеративная генерация данных и повторное обучение моделей широко используются для согласования больших языковых моделей (LLM). Обычно этот процесс включает модель политики для генерации ответов в рамках текущей политики и модель вознаграждения для выбора обучающих данных. Оптимизация прямых предпочтений (Direct Preference Optimization, DPO) дополнительно улучшает этот процесс путем создания пар предпочтений, состоящих из выбранных и отклоненных ответов. В данной работе мы стремимся увеличить количество образцов в рамках текущей политики с помощью повторного случайного выборки для повышения качества согласования. Традиционная практика выбирает образец с наивысшим вознаграждением в качестве выбранного и с наименьшим — в качестве отклоненного для DPO. Однако наши эксперименты показывают, что такая стратегия приводит к снижению производительности по мере увеличения размера выборки. Чтобы решить эту проблему, мы исследуем построение данных предпочтений через призму базового нормального распределения вознаграждений выборки. Мы разделяем пространство вознаграждений на семь репрезентативных точек и систематически исследуем все 21 (C_7^2) парных комбинаций. На основе оценок четырех моделей с использованием AlpacaEval 2 мы обнаруживаем, что выбор отклоненного ответа на уровне вознаграждения mu - 2sigma, а не минимального вознаграждения, является ключевым для оптимальной производительности. В заключение мы представляем масштабируемую стратегию построения данных предпочтений, которая последовательно улучшает производительность модели по мере увеличения масштаба выборки.

English

Iterative data generation and model retraining are widely used to align large language models (LLMs). It typically involves a policy model to generate on-policy responses and a reward model to guide training data selection. Direct Preference Optimization (DPO) further enhances this process by constructing preference pairs of chosen and rejected responses. In this work, we aim to scale up the number of on-policy samples via repeated random sampling to improve alignment performance. Conventional practice selects the sample with the highest reward as chosen and the lowest as rejected for DPO. However, our experiments reveal that this strategy leads to a decline in performance as the sample size increases. To address this, we investigate preference data construction through the lens of underlying normal distribution of sample rewards. We categorize the reward space into seven representative points and systematically explore all 21 (C_7^2) pairwise combinations. Through evaluations on four models using AlpacaEval 2, we find that selecting the rejected response at reward position mu - 2sigma rather than the minimum reward, is crucial for optimal performance. We finally introduce a scalable preference data construction strategy that consistently enhances model performance as the sample scale increases.