Agente di Valutazione: Framework di Valutazione Efficienti e Reattivo per Modelli Generativi Visivi

Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models

December 10, 2024

Autori: Fan Zhang, Shulin Tian, Ziqi Huang, Yu Qiao, Ziwei Liu

cs.AI

Abstract

I recenti progressi nei modelli generativi visivi hanno reso possibile la generazione di immagini e video di alta qualità, aprendo a diverse applicazioni. Tuttavia, valutare questi modelli spesso richiede il campionamento di centinaia o migliaia di immagini o video, rendendo il processo computazionalmente costoso, specialmente per i modelli basati sulla diffusione con campionamento intrinsecamente lento. Inoltre, i metodi di valutazione esistenti si basano su pipeline rigide che trascurano le esigenze specifiche dell'utente e forniscono risultati numerici senza spiegazioni chiare. Al contrario, gli esseri umani possono rapidamente formare impressioni sulle capacità di un modello osservando solo pochi campioni. Per mimare ciò, proponiamo il framework Evaluation Agent, che impiega strategie simili a quelle umane per valutazioni efficienti, dinamiche e multi-round utilizzando solo pochi campioni per round, offrendo nel contempo analisi dettagliate e personalizzate per l'utente. Esso offre quattro principali vantaggi: 1) efficienza, 2) valutazione personalizzabile adatta a diverse esigenze dell'utente, 3) spiegabilità oltre i singoli punteggi numerici, e 4) scalabilità tra vari modelli e strumenti. Gli esperimenti mostrano che Evaluation Agent riduce il tempo di valutazione al 10% rispetto ai metodi tradizionali pur offrendo risultati comparabili. Il framework Evaluation Agent è completamente open source per promuovere la ricerca nei modelli generativi visivi e nella loro valutazione efficiente.

English

Recent advancements in visual generative models have enabled high-quality image and video generation, opening diverse applications. However, evaluating these models often demands sampling hundreds or thousands of images or videos, making the process computationally expensive, especially for diffusion-based models with inherently slow sampling. Moreover, existing evaluation methods rely on rigid pipelines that overlook specific user needs and provide numerical results without clear explanations. In contrast, humans can quickly form impressions of a model's capabilities by observing only a few samples. To mimic this, we propose the Evaluation Agent framework, which employs human-like strategies for efficient, dynamic, multi-round evaluations using only a few samples per round, while offering detailed, user-tailored analyses. It offers four key advantages: 1) efficiency, 2) promptable evaluation tailored to diverse user needs, 3) explainability beyond single numerical scores, and 4) scalability across various models and tools. Experiments show that Evaluation Agent reduces evaluation time to 10% of traditional methods while delivering comparable results. The Evaluation Agent framework is fully open-sourced to advance research in visual generative models and their efficient evaluation.