Oltre i Pixel: Benchmarking dell'Editing Visivo Basato sul Ragionamento

Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing

April 3, 2025

Autori: Xiangyu Zhao, Peiyuan Zhang, Kexian Tang, Hao Li, Zicheng Zhang, Guangtao Zhai, Junchi Yan, Hua Yang, Xue Yang, Haodong Duan

cs.AI

Abstract

I Large Multi-modality Models (LMMs) hanno compiuto progressi significativi nella comprensione e generazione visiva, ma continuano a incontrare sfide nell'ambito del General Visual Editing, in particolare nel seguire istruzioni complesse, preservare la coerenza dell'aspetto e supportare formati di input flessibili. Per colmare questa lacuna, introduciamo RISEBench, il primo benchmark per valutare il Reasoning-Informed viSual Editing (RISE). RISEBench si concentra su quattro tipi chiave di ragionamento: Temporale, Causale, Spaziale e Logico. Abbiamo curato casi di test di alta qualità per ciascuna categoria e proposto un framework di valutazione che analizza il Ragionamento sulle Istruzioni, la Coerenza dell'Aspetto e la Plausibilità Visiva, utilizzando sia giudizi umani che un approccio LMM-as-a-judge. I nostri esperimenti rivelano che, sebbene GPT-4o-Native superi significativamente altri modelli open-source e proprietari, anche questo sistema all'avanguardia incontra difficoltà nei compiti di ragionamento logico, evidenziando un'area ancora poco esplorata. Come sforzo iniziale, RISEBench mira a fornire intuizioni fondamentali sull'editing visivo consapevole del ragionamento e a catalizzare la ricerca futura. Sebbene sia ancora nelle sue fasi iniziali, ci impegniamo a espandere e perfezionare continuamente il benchmark per supportare valutazioni più complete, affidabili e scalabili delle prossime generazioni di sistemi multimodali. Il nostro codice e i dati saranno rilasciati su https://github.com/PhoenixZ810/RISEBench.

English

Large Multi-modality Models (LMMs) have made significant progress in visual understanding and generation, but they still face challenges in General Visual Editing, particularly in following complex instructions, preserving appearance consistency, and supporting flexible input formats. To address this gap, we introduce RISEBench, the first benchmark for evaluating Reasoning-Informed viSual Editing (RISE). RISEBench focuses on four key reasoning types: Temporal, Causal, Spatial, and Logical Reasoning. We curate high-quality test cases for each category and propose an evaluation framework that assesses Instruction Reasoning, Appearance Consistency, and Visual Plausibility with both human judges and an LMM-as-a-judge approach. Our experiments reveal that while GPT-4o-Native significantly outperforms other open-source and proprietary models, even this state-of-the-art system struggles with logical reasoning tasks, highlighting an area that remains underexplored. As an initial effort, RISEBench aims to provide foundational insights into reasoning-aware visual editing and to catalyze future research. Though still in its early stages, we are committed to continuously expanding and refining the benchmark to support more comprehensive, reliable, and scalable evaluations of next-generation multimodal systems. Our code and data will be released at https://github.com/PhoenixZ810/RISEBench.