Optimisation évolutive des préférences classées pour la génération de texte vers image.

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

Auteurs: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

Résumé

L'Optimisation Directe des Préférences (ODP) est apparue comme une approche puissante pour aligner les modèles texte-image (T2I) avec les retours humains. Malheureusement, l'application réussie de l'ODP aux modèles T2I nécessite une énorme quantité de ressources pour collecter et étiqueter des ensembles de données à grande échelle, par exemple, des millions d'images appariées générées annotées avec des préférences humaines. De plus, ces ensembles de données de préférences humaines peuvent rapidement devenir obsolètes à mesure que les améliorations rapides des modèles T2I conduisent à des images de meilleure qualité. Dans ce travail, nous étudions une approche évolutive pour la collecte de jeux de données entièrement synthétiques à grande échelle pour l'entraînement de l'ODP. Plus précisément, les préférences pour les images appariées sont générées en utilisant une fonction de récompense pré-entraînée, éliminant ainsi le besoin d'impliquer des humains dans le processus d'annotation, améliorant considérablement l'efficacité de la collecte des ensembles de données. De plus, nous démontrons que de tels ensembles de données permettent de moyenner les prédictions à travers plusieurs modèles et de collecter des préférences classées au lieu de préférences par paires. En outre, nous introduisons RankDPO pour améliorer les méthodes basées sur l'ODP en utilisant les retours de classement. L'application de RankDPO sur les modèles SDXL et SD3-Medium avec notre jeu de données de préférences généré de manière synthétique "Syn-Pic" améliore à la fois le suivi des instructions (sur des référentiels tels que T2I-Compbench, GenEval et DPG-Bench) et la qualité visuelle (à travers des études utilisateur). Ce processus présente une solution pratique et évolutive pour développer de meilleurs ensembles de données de préférences afin d'améliorer les performances des modèles texte-image.

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.