Campionatore AMO: Migliorare il Rendering del Testo con l'Overshooting

AMO Sampler: Enhancing Text Rendering with Overshooting

November 28, 2024

Autori: Xixi Hu, Keyang Xu, Bo Liu, Qiang Liu, Hongliang Fei

cs.AI

Abstract

Raggiungere un'allineamento preciso tra istruzioni testuali e immagini generate nella generazione testo-immagine è una sfida significativa, specialmente nel rendere il testo scritto all'interno delle immagini. Modelli all'avanguardia come Stable Diffusion 3 (SD3), Flux e AuraFlow faticano ancora con la rappresentazione accurata del testo, risultando in errori di ortografia o testo inconsistente. Introduciamo un metodo privo di addestramento con un minimo dispendio computazionale che migliora significativamente la qualità della resa del testo. In particolare, introduciamo un campionatore di sovrascorrimento per modelli di flusso rettificato (RF) preaddestrati, alternando tra sovrastimare l'equazione differenziale ordinaria (ODE) appresa e reintrodurre rumore. Rispetto al campionatore di Eulero, il campionatore di sovrascorrimento introduce efficacemente un termine di dinamica di Langevin aggiuntivo che può aiutare a correggere l'errore cumulativo dai successivi passaggi di Eulero e quindi migliorare la resa del testo. Tuttavia, quando la forza di sovrascorrimento è elevata, osserviamo artefatti di troppo levigamento sulle immagini generate. Per affrontare questo problema, proponiamo un campionatore di sovrascorrimento modulato dall'attenzione (AMO), che controlla in modo adattivo la forza di sovrascorrimento per ciascuna patch dell'immagine in base al loro punteggio di attenzione con il contenuto testuale. AMO dimostra un miglioramento del 32,3% e del 35,9% nell'accuratezza della resa del testo su SD3 e Flux senza compromettere la qualità complessiva dell'immagine o aumentare il costo di inferenza.

English

Achieving precise alignment between textual instructions and generated images in text-to-image generation is a significant challenge, particularly in rendering written text within images. Sate-of-the-art models like Stable Diffusion 3 (SD3), Flux, and AuraFlow still struggle with accurate text depiction, resulting in misspelled or inconsistent text. We introduce a training-free method with minimal computational overhead that significantly enhances text rendering quality. Specifically, we introduce an overshooting sampler for pretrained rectified flow (RF) models, by alternating between over-simulating the learned ordinary differential equation (ODE) and reintroducing noise. Compared to the Euler sampler, the overshooting sampler effectively introduces an extra Langevin dynamics term that can help correct the compounding error from successive Euler steps and therefore improve the text rendering. However, when the overshooting strength is high, we observe over-smoothing artifacts on the generated images. To address this issue, we propose an Attention Modulated Overshooting sampler (AMO), which adaptively controls the strength of overshooting for each image patch according to their attention score with the text content. AMO demonstrates a 32.3% and 35.9% improvement in text rendering accuracy on SD3 and Flux without compromising overall image quality or increasing inference cost.