텍스트에서 이미지 생성을 위한 확장 가능한 순위 선호 최적화

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

저자: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

초록

직접 선호도 최적화(Direct Preference Optimization, DPO)는 인간 피드백과 텍스트-이미지(T2I) 모델을 조정하는 강력한 방법으로 등장했습니다. 그러나 T2I 모델에 DPO를 성공적으로 적용하려면 수백만 개의 인간 선호도가 주석이 달린 대규모 데이터셋을 수집하고 레이블을 지정하는 데 많은 리소스가 필요합니다. 또한, T2I 모델의 빠른 향상으로 인해 더 높은 품질의 이미지가 나타나면서 이러한 인간 선호도 데이터셋이 빠르게 오래되기도 합니다. 본 연구에서는 DPO 훈련을 위해 대규모 및 완전히 합성 데이터셋을 수집하기 위한 확장 가능한 접근 방식을 조사합니다. 구체적으로, 쌍으로 묶인 이미지에 대한 선호도는 사전 훈련된 보상 함수를 사용하여 생성되어 인간을 주석 처리에 참여시킬 필요가 없어지며 데이터셋 수집 효율이 크게 향상됩니다. 더불어, 이러한 데이터셋을 사용하면 여러 모델 간 예측을 평균화하고 쌍 대신 순위가 매겨진 선호도를 수집할 수 있음을 입증합니다. 더 나아가, 순위 피드백을 활용하여 DPO 기반 방법을 향상시키는 RankDPO를 소개합니다. SDXL 및 SD3-Medium 모델에 Syn-Pic이라는 합성으로 생성된 선호도 데이터셋에 RankDPO를 적용하면 T2I-Compbench, GenEval 및 DPG-Bench와 같은 벤치마크에서 프롬프트 따르기 및 시각적 품질이 모두 향상되었음을 입증합니다. 이 파이프라인은 텍스트-이미지 모델의 성능을 향상시키기 위해 더 나은 선호도 데이터셋을 개발하는 실용적이고 확장 가능한 솔루션을 제시합니다.

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.