Процессно-ориентированные языковые модели с самовознаграждением

Process-based Self-Rewarding Language Models

March 5, 2025

Авторы: Shimao Zhang, Xiao Liu, Xin Zhang, Junxiao Liu, Zheheng Luo, Shujian Huang, Yeyun Gong

cs.AI

Аннотация

Крупные языковые модели продемонстрировали выдающуюся производительность в различных прикладных задачах и широко применяются в множестве сценариев. Для дальнейшего улучшения их работы используются данные о предпочтениях, аннотированные людьми, что ограничено верхним пределом человеческих возможностей. В связи с этим был предложен метод самонаграждения, при котором языковые модели генерируют обучающие данные, награждая свои собственные выходы. Однако существующая парадигма самонаграждения неэффективна в сценариях математического рассуждения и может даже приводить к снижению производительности. В данной работе мы предлагаем процессно-ориентированный конвейер самонаграждения для языковых моделей, который включает в себя длинные рассуждения, пошаговую оценку моделей как судей и пошаговую оптимизацию предпочтений в рамках парадигмы самонаграждения. Наша новая парадигма успешно повышает производительность языковых моделей на нескольких бенчмарках математического рассуждения за счет итеративного процессно-ориентированного самонаграждения, демонстрируя огромный потенциал самонаграждения для достижения уровня рассуждений, который может превосходить человеческие возможности.

English

Large Language Models have demonstrated outstanding performance across various downstream tasks and have been widely applied in multiple scenarios. Human-annotated preference data is used for training to further improve LLMs' performance, which is constrained by the upper limit of human performance. Therefore, Self-Rewarding method has been proposed, where LLMs generate training data by rewarding their own outputs. However, the existing self-rewarding paradigm is not effective in mathematical reasoning scenarios and may even lead to a decline in performance. In this work, we propose the Process-based Self-Rewarding pipeline for language models, which introduces long-thought reasoning, step-wise LLM-as-a-Judge, and step-wise preference optimization within the self-rewarding paradigm. Our new paradigm successfully enhances the performance of LLMs on multiple mathematical reasoning benchmarks through iterative Process-based Self-Rewarding, demonstrating the immense potential of self-rewarding to achieve LLM reasoning that may surpass human capabilities.