MixEval-X: 현실 세계 데이터 혼합물로부터의 모든-모든 평가

MixEval-X: Any-to-Any Evaluations from Real-World Data Mixtures

October 17, 2024

저자: Jinjie Ni, Yifan Song, Deepanway Ghosal, Bo Li, David Junhao Zhang, Xiang Yue, Fuzhao Xue, Zian Zheng, Kaichen Zhang, Mahir Shah, Kabir Jain, Yang You, Michael Shieh

cs.AI

초록

AI 모델이 실제 세계 신호로부터 효과적으로 학습하고 상호 작용하기 위해서는 다양한 모드를 인식하고 생성하는 것이 중요하며, 이를 위해 신뢰할 수 있는 평가가 필요합니다. 현재의 평가에서 두 가지 주요 문제점을 확인합니다: (1) 서로 다른 커뮤니티에 의해 형성된 다양한 프로토콜과 성숙도로 결정되는 일관성 없는 기준; 그리고 (2) 중요한 쿼리, 평가 및 일반화 편향. 이를 해결하기 위해, 우리는 입력 및 출력 모드 간의 평가를 최적화하고 표준화하기 위해 설계된 첫 번째 실제 세계 벤치마크인 MixEval-X를 소개합니다. 우리는 다중 모달 벤치마크 혼합 및 적응-교정 파이프라인을 제안하여 실제 세계 작업 분포를 재구성하고, 이를 통해 평가가 실제 세계 사용 사례에 효과적으로 일반화되도록 보장합니다. 광범위한 메타-평가는 우리의 접근 방식이 벤치마크 샘플을 실제 세계 작업 분포와 효과적으로 일치시키며, 모델 순위가 크라우드소싱된 실제 세계 평가와 강력하게 상관 관계를 갖는 것을 보여줍니다 (최대 0.98). 우리는 기존 모델 및 조직을 재순위 지정하는 포괄적인 리더보드를 제공하고, 다중 모달 평가의 이해를 향상시키고 미래 연구에 도움이 되는 통찰을 제공합니다.

English

Perceiving and generating diverse modalities are crucial for AI models to effectively learn from and engage with real-world signals, necessitating reliable evaluations for their development. We identify two major issues in current evaluations: (1) inconsistent standards, shaped by different communities with varying protocols and maturity levels; and (2) significant query, grading, and generalization biases. To address these, we introduce MixEval-X, the first any-to-any real-world benchmark designed to optimize and standardize evaluations across input and output modalities. We propose multi-modal benchmark mixture and adaptation-rectification pipelines to reconstruct real-world task distributions, ensuring evaluations generalize effectively to real-world use cases. Extensive meta-evaluations show our approach effectively aligns benchmark samples with real-world task distributions and the model rankings correlate strongly with that of crowd-sourced real-world evaluations (up to 0.98). We provide comprehensive leaderboards to rerank existing models and organizations and offer insights to enhance understanding of multi-modal evaluations and inform future research.