Schalende Optimalisatie van Gerangschikte Voorkeuren voor Tekst-naar-Afbeelding Generatie

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

Auteurs: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

Samenvatting

Direct Preference Optimization (DPO) is opgekomen als een krachtige benadering om tekst-naar-afbeelding (T2I) modellen af te stemmen op menselijke feedback. Helaas vereist een succesvolle toepassing van DPO op T2I modellen een enorme hoeveelheid middelen om grote datasets te verzamelen en labelen, bijvoorbeeld miljoenen gegenereerde gekoppelde afbeeldingen geannoteerd met menselijke voorkeuren. Bovendien kunnen deze menselijke voorkeursdatasets snel verouderd raken doordat de snelle verbeteringen van T2I modellen leiden tot hogere kwaliteitsafbeeldingen. In dit werk onderzoeken we een schaalbare aanpak voor het verzamelen van grootschalige en volledig synthetische datasets voor DPO training. Specifiek worden de voorkeuren voor gekoppelde afbeeldingen gegenereerd met behulp van een vooraf getrainde beloningsfunctie, waardoor de noodzaak om mensen bij het annotatieproces te betrekken wordt geëlimineerd en de efficiëntie van datasetverzameling aanzienlijk wordt verbeterd. Bovendien tonen we aan dat dergelijke datasets het mogelijk maken om voorspellingen te middelen over meerdere modellen en gerangschikte voorkeuren te verzamelen in plaats van paarsgewijze voorkeuren. Verder introduceren we RankDPO om DPO-gebaseerde methoden te verbeteren met behulp van de rangschikkingsfeedback. Door RankDPO toe te passen op SDXL en SD3-Medium modellen met onze synthetisch gegenereerde voorkeursdataset "Syn-Pic", verbetert zowel het prompt-volgen (op benchmarks zoals T2I-Compbench, GenEval en DPG-Bench) als de visuele kwaliteit (via gebruikersstudies). Dit proces biedt een praktische en schaalbare oplossing om betere voorkeursdatasets te ontwikkelen ter verbetering van de prestaties van tekst-naar-afbeelding modellen.

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.