Eén-Prompt-Eén-Verhaal: Gratis-Lunch Consistente Tekst-naar-Afbeelding Generatie Met behulp van één enkele prompt

One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

January 23, 2025

Auteurs: Tao Liu, Kai Wang, Senmao Li, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng

cs.AI

Samenvatting

Tekst-naar-afbeelding generatiemodellen kunnen hoogwaardige afbeeldingen maken van invoerprompts. Ze hebben echter moeite met het ondersteunen van de consistente generatie van identiteitsbehoudende vereisten voor verhalen. Bestaande benaderingen voor dit probleem vereisen doorgaans uitgebreide training in grote datasets of aanvullende aanpassingen aan de oorspronkelijke modelarchitecturen. Dit beperkt hun toepasbaarheid over verschillende domeinen en diverse configuraties van diffusiemodel. In dit artikel observeren we eerst de inherente mogelijkheid van taalmodellen, genaamd contextconsistentie, om identiteit te begrijpen via context met een enkel prompt. Geïnspireerd door de inherente contextconsistentie stellen we een nieuw trainingsvrij methode voor voor consistente tekst-naar-afbeelding (T2I) generatie, genaamd "Eén-Prompt-Eén-Verhaal" (1Prompt1Story). Onze benadering 1Prompt1Story concateneert alle prompts tot een enkele invoer voor T2I diffusiemarkten, waarbij aanvankelijk karakteridentiteiten behouden blijven. Vervolgens verfijnen we het generatieproces met behulp van twee nieuwe technieken: Singular-Value Reweighting en Identiteitsbehoudende Kruis-Aandacht, wat zorgt voor een betere afstemming met de invoerbeschrijving voor elk frame. In onze experimenten vergelijken we onze methode met verschillende bestaande consistente T2I generatiebenaderingen om de effectiviteit ervan aan te tonen aan de hand van kwantitatieve metrieken en kwalitatieve beoordelingen. De code is beschikbaar op https://github.com/byliutao/1Prompt1Story.

English

Text-to-image generation models can create high-quality images from input prompts. However, they struggle to support the consistent generation of identity-preserving requirements for storytelling. Existing approaches to this problem typically require extensive training in large datasets or additional modifications to the original model architectures. This limits their applicability across different domains and diverse diffusion model configurations. In this paper, we first observe the inherent capability of language models, coined context consistency, to comprehend identity through context with a single prompt. Drawing inspiration from the inherent context consistency, we propose a novel training-free method for consistent text-to-image (T2I) generation, termed "One-Prompt-One-Story" (1Prompt1Story). Our approach 1Prompt1Story concatenates all prompts into a single input for T2I diffusion models, initially preserving character identities. We then refine the generation process using two novel techniques: Singular-Value Reweighting and Identity-Preserving Cross-Attention, ensuring better alignment with the input description for each frame. In our experiments, we compare our method against various existing consistent T2I generation approaches to demonstrate its effectiveness through quantitative metrics and qualitative assessments. Code is available at https://github.com/byliutao/1Prompt1Story.