Skalierbare Optimierung von Rangpräferenzen für die Generierung von Text-zu-Bildern

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

Autoren: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

Zusammenfassung

Die direkte Präferenzoptimierung (DPO) hat sich als ein leistungsstoller Ansatz herausgestellt, um Text-zu-Bild (T2I) Modelle mit menschlichem Feedback in Einklang zu bringen. Leider erfordert die erfolgreiche Anwendung von DPO auf T2I-Modelle eine enorme Menge an Ressourcen, um umfangreiche Datensätze zu sammeln und zu kennzeichnen, z. B. Millionen generierte Bildpaare, die mit menschlichen Präferenzen annotiert sind. Darüber hinaus können diese menschlichen Präferenzdatensätze schnell veralten, da die raschen Verbesserungen von T2I-Modellen zu hochwertigeren Bildern führen. In dieser Arbeit untersuchen wir einen skalierbaren Ansatz zur Sammlung von umfangreichen und vollständig synthetischen Datensätzen für das Training von DPO. Speziell werden die Präferenzen für Bildpaare mithilfe einer vorab trainierten Belohnungsfunktion generiert, wodurch die Notwendigkeit entfällt, Menschen in den Annotierungsprozess einzubeziehen und die Effizienz der Datensammlung erheblich verbessert wird. Darüber hinaus zeigen wir, dass solche Datensätze Vorhersagen über mehrere Modelle hinweg ermöglichen und das Sammeln von gerankten Präferenzen anstelle von paarweisen Präferenzen. Des Weiteren führen wir RankDPO ein, um DPO-basierte Methoden mithilfe des Ranking-Feedbacks zu verbessern. Die Anwendung von RankDPO auf die Modelle SDXL und SD3-Medium mit unserem synthetisch generierten Präferenzdatensatz "Syn-Pic" verbessert sowohl das Prompt-Following (auf Benchmarks wie T2I-Compbench, GenEval und DPG-Bench) als auch die visuelle Qualität (durch Benutzerstudien). Dieser Prozess bietet eine praktische und skalierbare Lösung zur Entwicklung besserer Präferenzdatensätze, um die Leistung von Text-zu-Bild-Modellen zu verbessern.

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.