Verbetering van Lange Tekstuitlijning voor Tekst-naar-Afbeelding Diffusiemodellen

Improving Long-Text Alignment for Text-to-Image Diffusion Models

October 15, 2024

Auteurs: Luping Liu, Chao Du, Tianyu Pang, Zehan Wang, Chongxuan Li, Dong Xu

cs.AI

Samenvatting

De snelle vooruitgang van tekst-naar-afbeelding (T2I) diffusiemodellen heeft hen in staat gesteld ongekende resultaten te genereren uit gegeven teksten. Echter, naarmate de tekstinputs langer worden, lopen bestaande coderingsmethoden zoals CLIP tegen beperkingen aan, en wordt het uitlijnen van de gegenereerde afbeeldingen met lange teksten uitdagend. Om deze problemen aan te pakken, stellen wij LongAlign voor, dat een segmentniveau-coderingsmethode omvat voor het verwerken van lange teksten en een gedecomposeerde voorkeurs optimalisatiemethode voor effectieve uitlijningstraining. Voor segmentniveau-codering worden lange teksten opgedeeld in meerdere segmenten en afzonderlijk verwerkt. Deze methode overwint de maximale invoerlengtebeperkingen van vooraf getrainde coderingsmodellen. Voor voorkeurs optimalisatie bieden wij gedecomposeerde op CLIP gebaseerde voorkeursmodellen om diffusiemodellen fijn af te stemmen. Specifiek, om op CLIP gebaseerde voorkeursmodellen te gebruiken voor T2I uitlijning, duiken we in hun scoremechanismen en vinden we dat de voorkeursscores kunnen worden gedecomposeerd in twee componenten: een tekstrelevante deel dat T2I uitlijning meet en een tekstirrelevante deel dat andere visuele aspecten van menselijke voorkeur beoordeelt. Daarnaast vinden we dat het tekstirrelevante deel bijdraagt aan een veelvoorkomend overpassingsprobleem tijdens het fijn afstemmen. Om dit aan te pakken, stellen we een herwegingsstrategie voor die verschillende gewichten toewijst aan deze twee componenten, waardoor overpassing wordt verminderd en uitlijning wordt verbeterd. Na het fijn afstemmen van 512 keer 512 Stable Diffusion (SD) v1.5 gedurende ongeveer 20 uur met onze methode, presteert de gefinetunede SD beter dan sterkere basis modellen in T2I uitlijning, zoals PixArt-alpha en Kandinsky v2.2. De code is beschikbaar op https://github.com/luping-liu/LongAlign.

English

The rapid advancement of text-to-image (T2I) diffusion models has enabled them to generate unprecedented results from given texts. However, as text inputs become longer, existing encoding methods like CLIP face limitations, and aligning the generated images with long texts becomes challenging. To tackle these issues, we propose LongAlign, which includes a segment-level encoding method for processing long texts and a decomposed preference optimization method for effective alignment training. For segment-level encoding, long texts are divided into multiple segments and processed separately. This method overcomes the maximum input length limits of pretrained encoding models. For preference optimization, we provide decomposed CLIP-based preference models to fine-tune diffusion models. Specifically, to utilize CLIP-based preference models for T2I alignment, we delve into their scoring mechanisms and find that the preference scores can be decomposed into two components: a text-relevant part that measures T2I alignment and a text-irrelevant part that assesses other visual aspects of human preference. Additionally, we find that the text-irrelevant part contributes to a common overfitting problem during fine-tuning. To address this, we propose a reweighting strategy that assigns different weights to these two components, thereby reducing overfitting and enhancing alignment. After fine-tuning 512 times 512 Stable Diffusion (SD) v1.5 for about 20 hours using our method, the fine-tuned SD outperforms stronger foundation models in T2I alignment, such as PixArt-alpha and Kandinsky v2.2. The code is available at https://github.com/luping-liu/LongAlign.