유클리드: 합성 고품질 시각 설명으로 다중 모달 LLMs의 성능 향상

초록

최근 몇 년 동안, 다중 모달 대형 언어 모델 (MLLMs)은 빠른 발전을 이루었지만, 낮은 수준의 시각 지각(LLVP)에서 여전히 어려움을 겪고 있습니다. 특히 이미지의 기하학적 세부 정보를 정확하게 설명하는 능력에 있어서. 이 능력은 로봇공학, 의료 이미지 분석 및 제조업 등 다양한 분야의 응용 프로그램에 중요합니다. 본 논문에서는 먼저 MLLM의 이미지로부터 2D 기하학적 정보를 정확하게 전사하는 능력을 평가하기 위해 설계된 벤치마크인 Geoperception을 소개합니다. 이 벤치마크를 사용하여, 선도적인 MLLM의 한계를 보여주고, 그런 다음 기하학적 작업에서 성능을 향상시키기 위한 전략을 탐색하기 위한 포괄적인 경험적 연구를 수행합니다. 우리의 연구 결과는 특정 모델 아키텍처, 교육 기술 및 데이터 전략, 특히 고품질의 합성 데이터 및 데이터 커리큘럼을 활용하는 다단계 교육의 이점을 강조합니다. 특히, 데이터 커리큘럼을 활용하면 모델이 제로부터 배우기 어려운 도전적인 기하학 이해 작업을 학습할 수 있습니다. 이러한 통찰력을 활용하여, 강력한 낮은 수준의 기하학적 지각을 위해 명시적으로 최적화된 모델 패밀리인 Euclid을 개발합니다. 순수하게 합성 다중 모달 데이터로 훈련된 Euclid는 새로운 기하학 모양에 대해 강력한 일반화 능력을 보여줍니다. 예를 들어, Euclid는 특정 Geoperception 벤치마크 작업에서 최고의 폐쇄형 모델인 Gemini-1.5-Pro보다 최대 58.56%의 성능 향상을 보이며, 모든 작업을 통틀어 평균 10.65%의 성능 향상을 보입니다.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.

유클리드: 합성 고품질 시각 설명으로 다중 모달 LLMs의 성능 향상

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

초록

Support