Testzeit-Präferenzoptimierung: On-the-Fly-Ausrichtung durch iterative textuelle Rückmeldung

Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback

January 22, 2025

Autoren: Yafu Li, Xuyang Hu, Xiaoye Qu, Linjie Li, Yu Cheng

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen beeindruckende Leistungen, aber es fehlt ihnen die Flexibilität, sich schnell an menschliche Präferenzen anzupassen, ohne erneutes Training. In dieser Arbeit stellen wir Testzeit-Präferenzoptimierung (TPO) vor, ein Framework, das die Ausgaben von LLMs während der Inferenz mit menschlichen Präferenzen abgleicht, ohne dass eine Aktualisierung der Modellparameter erforderlich ist. Anstatt sich ausschließlich auf numerische Belohnungen zu verlassen, übersetzt TPO Belohnungssignale in textuelle Kritiken und verwendet sie als textuelle Belohnungen, um seine Antwort iterativ zu verfeinern. Evaluationen anhand von Benchmarks zu Anweisungsverfolgung, Präferenzabstimmung, Sicherheit und Mathematik zeigen, dass TPO die Ausrichtung auf menschliche Präferenzen kontinuierlich verbessert. Bemerkenswert ist, dass das zunächst nicht ausgerichtete Llama-3.1-70B-SFT-Modell nach nur wenigen TPO-Schritten das ausgerichtete Gegenstück, Llama-3.1-70B-Instruct, übertreffen kann. Darüber hinaus skaliert TPO effizient sowohl mit der Suchbreite als auch mit der Suchtiefe während der Inferenz. Anhand von Fallstudien zeigen wir, wie TPO die angeborene Fähigkeit von LLMs nutzt, Belohnungssignale zu interpretieren und darauf zu reagieren. Unsere Ergebnisse etablieren TPO als praktische, leichtgewichtige Alternative für die Optimierung von Präferenzen zur Testzeit und ermöglichen eine schnelle Ausrichtung. Unser Code ist öffentlich verfügbar unter https://github.com/yafuly/TPO.

English

Large language models (LLMs) demonstrate impressive performance but lack the flexibility to adapt to human preferences quickly without retraining. In this work, we introduce Test-time Preference Optimization (TPO), a framework that aligns LLM outputs with human preferences during inference, removing the need to update model parameters. Rather than relying on purely numerical rewards, TPO translates reward signals into textual critiques and uses them as textual rewards to iteratively refine its response. Evaluations on benchmarks covering instruction following, preference alignment, safety, and mathematics reveal that TPO progressively improves alignment with human preferences. Notably, after only a few TPO steps, the initially unaligned Llama-3.1-70B-SFT model can surpass the aligned counterpart, Llama-3.1-70B-Instruct. Furthermore, TPO scales efficiently with both the search width and depth during inference. Through case studies, we illustrate how TPO exploits the innate capacity of LLM to interpret and act upon reward signals. Our findings establish TPO as a practical, lightweight alternative for test-time preference optimization, achieving alignment on the fly. Our code is publicly available at https://github.com/yafuly/TPO.