VisionArena: 23만개의 실제 사용자-VLM 대화와 선호 레이블

초록

시각-언어 모델(VLMs)의 채택과 능력이 증가함에 따라 실제 사용자-VLM 상호작용을 포착하는 벤치마크의 필요성이 대두되고 있습니다. 이에 대응하여 73,000명의 고유 사용자, 45개의 VLMs 및 138개 언어를 포함하는 23만개의 실제 대화로 구성된 VisionArena 데이터셋을 작성했습니다. Chatbot Arena에서 수집된 이 데이터는 사용자가 VLMs와 상호작용하고 선호도 투표를 제출하는 오픈 소스 플랫폼이며, VisionArena는 VisionArena-Chat(사용자와 VLM 간 20만 건의 단일 및 다중 턴 대화), VisionArena-Battle(사용자 선호도 투표와 함께 두 익명 VLMs를 비교하는 3만 건의 대화), VisionArena-Bench(실시간 Chatbot Arena 모델 순위를 효율적으로 근사하는 500가지 다양한 사용자 프롬프트의 자동 벤치마크) 세 가지 하위 데이터셋으로 구성됩니다. 또한 사용자가 묻는 질문 유형, 응답 스타일이 선호도에 미치는 영향, 그리고 모델이 종종 실패하는 영역을 강조합니다. 우리는 캡션 및 유머와 같은 개방형 작업이 스타일에 매우 의존하며, 현재 VLMs는 공간 추론 및 계획 작업에서 어려움을 겪는 것으로 나타났습니다. 마지막으로, VisionArena-Chat에서 동일한 기본 모델을 세밀 조정하는 것이 Llava-Instruct-158K를 능가하며, MMMU에서 17포인트, WildVision 벤치마크에서 46포인트의 성과 향상을 보여줍니다. 데이터셋은 https://huggingface.co/lmarena-ai에서 확인할 수 있습니다.

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai

VisionArena: 23만개의 실제 사용자-VLM 대화와 선호 레이블

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

초록

Support