Grafo della scena intercalato per la generazione intercalata di testo e immagini Valutazione

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

November 26, 2024

Autori: Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

cs.AI

Abstract

Molte query degli utenti reali (ad esempio "Come fare il riso fritto all'uovo?") potrebbero beneficiare di sistemi capaci di generare risposte con passaggi testuali accompagnati da immagini, simili a un libro di cucina. I modelli progettati per generare testo e immagini in modo intercalato affrontano sfide nel garantire coerenza all'interno e tra queste modalità. Per affrontare tali sfide, presentiamo ISG, un quadro di valutazione completo per la generazione di testo e immagini intercalati. ISG sfrutta una struttura a grafo della scena per catturare le relazioni tra i blocchi di testo e immagine, valutando le risposte su quattro livelli di granularità: olistico, strutturale, a livello di blocco e specifico dell'immagine. Questa valutazione a più livelli consente una valutazione sfumata di coerenza, coesione e precisione, e fornisce un feedback interpretabile domanda-risposta. In congiunzione con ISG, introduciamo un benchmark, ISG-Bench, che comprende 1.150 campioni distribuiti su 8 categorie e 21 sottocategorie. Questo dataset di benchmark include dipendenze complesse tra linguaggio e visione e risposte d'oro per valutare efficacemente i modelli su compiti centrati sulla visione come il trasferimento di stile, un'area sfidante per i modelli attuali. Utilizzando ISG-Bench, dimostriamo che i recenti modelli unificati di visione e linguaggio hanno prestazioni scadenti nella generazione di contenuti intercalati. Mentre gli approcci compositivi che combinano modelli separati di linguaggio e immagine mostrano un miglioramento del 111% rispetto ai modelli unificati a livello olistico, le loro prestazioni rimangono non ottimali a livello di blocco e immagine. Per agevolare il lavoro futuro, sviluppiamo ISG-Agent, un agente di base che impiega un pipeline "pianifica-esegui-affina" per invocare strumenti, ottenendo un miglioramento delle prestazioni del 122%.

English

Many real-world user queries (e.g. "How do to make egg fried rice?") could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a "plan-execute-refine" pipeline to invoke tools, achieving a 122% performance improvement.