AMO 샘플러: 오버슈팅을 활용한 텍스트 렌더링 향상

AMO Sampler: Enhancing Text Rendering with Overshooting

November 28, 2024

저자: Xixi Hu, Keyang Xu, Bo Liu, Qiang Liu, Hongliang Fei

cs.AI

초록

텍스트에서 이미지를 생성하는 텍스트-이미지 생성에서 정확한 텍스트 지침과 생성된 이미지 간의 정렬을 달성하는 것은 특히 이미지 내에 쓰여진 텍스트를 렌더링하는 데 중요한 도전입니다. Stable Diffusion 3 (SD3), Flux, AuraFlow와 같은 최첨단 모델은 여전히 정확한 텍스트 표현에 어려움을 겪어, 철자 오류나 일관성 없는 텍스트로 이어집니다. 우리는 교육 없이 최소한의 계산 오버헤드로 텍스트 렌더링 품질을 크게 향상시키는 방법을 제안합니다. 구체적으로, 사전 훈련된 정정된 흐름 (RF) 모델을 위한 오버슈팅 샘플러를 소개하여, 학습된 상미분 방정식(ODE)을 과도하게 시뮬레이션하고 노이즈를 다시 도입하는 방식으로 번갈아가며 사용합니다. 오일러 샘플러와 비교했을 때, 오버슈팅 샘플러는 연속된 오일러 단계에서의 누적 오류를 수정하는 데 도움이 되는 추가 랑게방 운동 항을 효과적으로 도입합니다. 그러나 오버슈팅 강도가 높을 때, 생성된 이미지에서 오버-스무딩 아티팩트가 관찰됩니다. 이 문제를 해결하기 위해, 우리는 각 이미지 패치의 텍스트 내용과의 주의 점수에 따라 오버슈팅의 강도를 적응적으로 제어하는 Attention Modulated Overshooting 샘플러(AMO)를 제안합니다. AMO는 SD3와 Flux에서 텍스트 렌더링 정확도를 향상시키면서 전체 이미지 품질을 희생하지 않거나 추론 비용을 증가시키지 않고 32.3% 및 35.9%의 개선을 보여줍니다.

English

Achieving precise alignment between textual instructions and generated images in text-to-image generation is a significant challenge, particularly in rendering written text within images. Sate-of-the-art models like Stable Diffusion 3 (SD3), Flux, and AuraFlow still struggle with accurate text depiction, resulting in misspelled or inconsistent text. We introduce a training-free method with minimal computational overhead that significantly enhances text rendering quality. Specifically, we introduce an overshooting sampler for pretrained rectified flow (RF) models, by alternating between over-simulating the learned ordinary differential equation (ODE) and reintroducing noise. Compared to the Euler sampler, the overshooting sampler effectively introduces an extra Langevin dynamics term that can help correct the compounding error from successive Euler steps and therefore improve the text rendering. However, when the overshooting strength is high, we observe over-smoothing artifacts on the generated images. To address this issue, we propose an Attention Modulated Overshooting sampler (AMO), which adaptively controls the strength of overshooting for each image patch according to their attention score with the text content. AMO demonstrates a 32.3% and 35.9% improvement in text rendering accuracy on SD3 and Flux without compromising overall image quality or increasing inference cost.