DiffSensei: Collegamento tra LLM multi-modalità e modelli di diffusione per la generazione personalizzata di manga

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

Autori: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

Abstract

La visualizzazione di storie, il compito di creare narrazioni visive da descrizioni testuali, ha visto progressi con i modelli di generazione testo-immagine. Tuttavia, questi modelli spesso mancano di un controllo efficace sulle apparenze e sulle interazioni dei personaggi, in particolare nelle scene con più personaggi. Per affrontare queste limitazioni, proponiamo un nuovo compito: la generazione personalizzata di manga e presentiamo DiffSensei, un innovativo framework appositamente progettato per generare manga con un controllo dinamico multi-personaggio. DiffSensei integra un generatore di immagini basato sulla diffusione con un modello di linguaggio multimodale (MLLM) che funge da adattatore di identità compatibile con il testo. Il nostro approccio utilizza l'attenzione incrociata mascherata per incorporare senza soluzione di continuità le caratteristiche dei personaggi, consentendo un controllo preciso del layout senza trasferimento diretto dei pixel. Inoltre, l'adattatore basato su MLLM regola le caratteristiche dei personaggi per allinearle con gli indizi testuali specifici del pannello, consentendo regolazioni flessibili nelle espressioni, pose e azioni dei personaggi. Introduciamo anche MangaZero, un dataset su larga scala adattato a questo compito, contenente 43.264 pagine di manga e 427.147 pannelli annotati, supportando la visualizzazione di varie interazioni e movimenti dei personaggi attraverso frame sequenziali. Estesi esperimenti dimostrano che DiffSensei supera i modelli esistenti, segnando un significativo avanzamento nella generazione di manga consentendo la personalizzazione dei personaggi adattabile al testo. La pagina del progetto è https://jianzongwu.github.io/projects/diffsensei/.

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.