Jenseits von Worten: Fortschritte in der Langtext-Bildgenerierung durch multimodale autoregressive Modelle

Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models

March 26, 2025

Autoren: Alex Jinpeng Wang, Linjie Li, Zhengyuan Yang, Lijuan Wang, Min Li

cs.AI

Zusammenfassung

Jüngste Fortschritte bei autoregressiven und Diffusionsmodellen haben zu einer starken Leistung bei der Bildgenerierung mit kurzen Szenentexten geführt. Die Erzeugung von kohärentem, langem Text in Bildern, wie Absätzen in Präsentationen oder Dokumenten, bleibt jedoch eine große Herausforderung für aktuelle generative Modelle. Wir präsentieren die erste Arbeit, die sich speziell auf die Generierung von langen Textbildern konzentriert und damit eine kritische Lücke in bestehenden Text-zu-Bild-Systemen schließt, die typischerweise nur kurze Phrasen oder einzelne Sätze verarbeiten. Durch eine umfassende Analyse der neuesten autoregressiven Generationsmodelle identifizieren wir den Bild-Tokenizer als einen kritischen Engpass bei der Textgenerierungsqualität. Um dies zu beheben, führen wir einen neuartigen, textorientierten binären Tokenizer ein, der optimiert ist, um detaillierte Szenentextmerkmale zu erfassen. Mit unserem Tokenizer entwickeln wir \ModelName, ein multimodales autoregressives Modell, das sich durch die Erzeugung hochwertiger langer Textbilder mit beispielloser Treue auszeichnet. Unser Modell bietet eine robuste Steuerbarkeit, die die Anpassung von Texteigenschaften wie Schriftstil, Größe, Farbe und Ausrichtung ermöglicht. Umfangreiche Experimente zeigen, dass \ModelName~SD3.5 Large~sd3 und GPT4o~gpt4o mit DALL-E 3~dalle3 bei der präzisen, konsistenten und flexiblen Generierung von langem Text deutlich übertrifft. Neben seinen technischen Errungenschaften eröffnet \ModelName~spannende Möglichkeiten für innovative Anwendungen wie die verschachtelte Dokument- und PowerPoint-Generierung und setzt damit eine neue Grenze in der langen Textbildgenerierung.

English

Recent advancements in autoregressive and diffusion models have led to strong performance in image generation with short scene text words. However, generating coherent, long-form text in images, such as paragraphs in slides or documents, remains a major challenge for current generative models. We present the first work specifically focused on long text image generation, addressing a critical gap in existing text-to-image systems that typically handle only brief phrases or single sentences. Through comprehensive analysis of state-of-the-art autoregressive generation models, we identify the image tokenizer as a critical bottleneck in text generating quality. To address this, we introduce a novel text-focused, binary tokenizer optimized for capturing detailed scene text features. Leveraging our tokenizer, we develop \ModelName, a multimodal autoregressive model that excels in generating high-quality long-text images with unprecedented fidelity. Our model offers robust controllability, enabling customization of text properties such as font style, size, color, and alignment. Extensive experiments demonstrate that \ModelName~significantly outperforms SD3.5 Large~sd3 and GPT4o~gpt4o with DALL-E 3~dalle3 in generating long text accurately, consistently, and flexibly. Beyond its technical achievements, \ModelName~opens up exciting opportunities for innovative applications like interleaved document and PowerPoint generation, establishing a new frontier in long-text image generating.