VisionArena: 230.000 Conversazioni Utente-Macchina del Mondo Reale con Etichette di Preferenza

VisionArena: 230K Real World User-VLM Conversations with Preference Labels

December 11, 2024

Autori: Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang

cs.AI

Abstract

Con l'ampia adozione e le capacità dei modelli visione-linguaggio (VLM) in crescita, sorge la necessità di benchmark che catturino autentiche interazioni utente-VLM. In risposta, abbiamo creato VisionArena, un dataset di 230K conversazioni del mondo reale tra utenti e VLM. Raccolti da Chatbot Arena - una piattaforma open-source in cui gli utenti interagiscono con i VLM e inviano preferenze - VisionArena copre 73K utenti unici, 45 VLM e 138 lingue. Il nostro dataset contiene tre sottoinsiemi: VisionArena-Chat, 200k conversazioni singole e multi-turn tra un utente e un VLM; VisionArena-Battle, 30K conversazioni che confrontano due VLM anonimi con voti di preferenza degli utenti; e VisionArena-Bench, un benchmark automatico di 500 prompt utente diversi che approssimano efficacemente le classifiche dei modelli live di Chatbot Arena. Inoltre, evidenziamo i tipi di domande poste dagli utenti, l'influenza dello stile di risposta sulla preferenza e le aree in cui i modelli falliscono spesso. Troviamo che compiti aperti come la didascalia e l'umorismo dipendono fortemente dallo stile, e i VLM attuali faticano con il ragionamento spaziale e i compiti di pianificazione. Infine, dimostriamo che il fine-tuning dello stesso modello di base su VisionArena-Chat supera Llava-Instruct-158K, con un aumento di 17 punti su MMMU e di 46 punti sul benchmark WildVision. Dataset disponibile su https://huggingface.co/lmarena-ai

English

With the growing adoption and capabilities of vision-language models (VLMs) comes the need for benchmarks that capture authentic user-VLM interactions. In response, we create VisionArena, a dataset of 230K real-world conversations between users and VLMs. Collected from Chatbot Arena - an open-source platform where users interact with VLMs and submit preference votes - VisionArena spans 73K unique users, 45 VLMs, and 138 languages. Our dataset contains three subsets: VisionArena-Chat, 200k single and multi-turn conversations between a user and a VLM; VisionArena-Battle, 30K conversations comparing two anonymous VLMs with user preference votes; and VisionArena-Bench, an automatic benchmark of 500 diverse user prompts that efficiently approximate the live Chatbot Arena model rankings. Additionally, we highlight the types of question asked by users, the influence of response style on preference, and areas where models often fail. We find open-ended tasks like captioning and humor are highly style-dependent, and current VLMs struggle with spatial reasoning and planning tasks. Lastly, we show finetuning the same base model on VisionArena-Chat outperforms Llava-Instruct-158K, with a 17-point gain on MMMU and a 46-point gain on the WildVision benchmark. Dataset at https://huggingface.co/lmarena-ai