BlenderGym: Benchmarking dei Sistemi di Modelli Fondamentali per l'Editing Grafico

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

April 2, 2025

Autori: Yunqi Gu, Ian Huang, Jihyeon Je, Guandao Yang, Leonidas Guibas

cs.AI

Abstract

L'editing di grafica 3D è fondamentale in applicazioni come la produzione cinematografica e il design di giochi, ma rimane un processo dispendioso in termini di tempo che richiede una competenza altamente specializzata nel dominio. Automatizzare questo processo è impegnativo perché l'editing grafico richiede l'esecuzione di una varietà di compiti, ciascuno dei quali necessita di abilità distinte. Recentemente, i modelli visione-linguaggio (VLMs) sono emersi come un potente framework per automatizzare il processo di editing, ma il loro sviluppo e valutazione sono ostacolati dalla mancanza di un benchmark completo che richieda una percezione a livello umano e presenti una complessità di editing reale. In questo lavoro, presentiamo BlenderGym, il primo benchmark completo per sistemi VLM nell'editing di grafica 3D. BlenderGym valuta i sistemi VLM attraverso compiti di ricostruzione 3D basati su codice. Valutiamo sistemi VLM sia proprietari che open-source e osserviamo che anche il sistema VLM più avanzato fatica con compiti relativamente semplici per gli utenti umani di Blender. Abilitati da BlenderGym, studiamo come le tecniche di scaling dell'inferenza influenzino le prestazioni dei VLM nei compiti di editing grafico. In particolare, i nostri risultati rivelano che il verificatore utilizzato per guidare lo scaling della generazione può essere esso stesso migliorato attraverso lo scaling dell'inferenza, complementando recenti intuizioni sullo scaling dell'inferenza nella generazione di LLM nei compiti di codifica e matematica. Mostriamo inoltre che il calcolo dell'inferenza non è uniformemente efficace e può essere ottimizzato distribuendolo strategicamente tra generazione e verifica.

English

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM's performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.