Euclide: Potenziare i LLM Multimodali con Descrizioni Visive Sintetiche ad Alta Fedeltà

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

December 11, 2024

Autori: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) hanno fatto rapidi progressi negli ultimi anni, ma continuano a lottare con la percezione visiva a basso livello (LLVP) - in particolare con la capacità di descrivere accuratamente i dettagli geometrici di un'immagine. Questa capacità è cruciale per applicazioni in settori come la robotica, l'analisi di immagini mediche e la produzione. In questo articolo, presentiamo per la prima volta Geoperception, un benchmark progettato per valutare la capacità di un MLLM di trascrivere con precisione informazioni geometriche 2D da un'immagine. Utilizzando questo benchmark, dimostriamo i limiti dei principali MLLM e conduciamo uno studio empirico completo per esplorare strategie per migliorare le loro prestazioni su compiti geometrici. Le nostre scoperte evidenziano i benefici di determinate architetture di modelli, tecniche di addestramento e strategie di dati, tra cui l'uso di dati sintetici ad alta fedeltà e l'addestramento multi-stadio con un curriculum di dati. In particolare, scopriamo che un curriculum di dati consente ai modelli di apprendere compiti di comprensione della geometria impegnativi che non riescono ad imparare da zero. Sfruttando queste intuizioni, sviluppiamo Euclide, una famiglia di modelli ottimizzati specificamente per una forte percezione geometrica a basso livello. Anche se addestrato esclusivamente su dati multimodali sintetici, Euclide mostra una forte capacità di generalizzazione a forme geometriche nuove. Ad esempio, Euclide supera il miglior modello closed-source, Gemini-1.5-Pro, fino al 58,56% su determinati compiti del benchmark Geoperception e del 10,65% in media su tutti i compiti.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.