WorldCuisines: 글로벌 요리에 대한 다국어 및 다문화 시각 질의 응답을 위한 대규모 벤치마크

초록

시각 언어 모델(Vision Language Models, VLMs)은 특히 영어 이외의 언어와 소수 문화적 맥락에서 문화 특정 지식에 어려움을 겪는 경우가 많습니다. 이러한 지식을 평가하기 위해 다문화 및 다언어에 초점을 맞춘 대규모 벤치마크인 WorldCuisines를 소개합니다. 이 벤치마크는 시각적으로 기반을 둔 언어 이해를 위한 것으로, 30개 언어 및 방언, 9개 언어 패밀리를 아우르며 100만 개 이상의 데이터 포인트를 제공하는 시각적 질의응답(Visual Question Answering, VQA) 데이터셋을 포함합니다. 이는 현재까지 가장 큰 다문화 VQA 벤치마크로, 요리명과 그 출처를 식별하는 작업이 포함되어 있습니다. 우리는 12,000개와 60,000개의 인스턴스 크기로 구성된 평가 데이터셋과 100만 개의 인스턴스로 이루어진 훈련 데이터셋을 제공합니다. 우리의 연구 결과는 VLMs이 올바른 위치 맥락을 갖추면 더 나은 성능을 보이지만, 적대적 맥락과 특정 지역 요리 및 언어를 예측하는 데 어려움을 겪는다는 것을 보여줍니다. 미래 연구를 지원하기 위해, 음식 항목과 이미지에 주석이 달린 지식 베이스와 VQA 데이터를 함께 공개합니다.

English

Vision Language Models (VLMs) often struggle with culture-specific knowledge, particularly in languages other than English and in underrepresented cultural contexts. To evaluate their understanding of such knowledge, we introduce WorldCuisines, a massive-scale benchmark for multilingual and multicultural, visually grounded language understanding. This benchmark includes a visual question answering (VQA) dataset with text-image pairs across 30 languages and dialects, spanning 9 language families and featuring over 1 million data points, making it the largest multicultural VQA benchmark to date. It includes tasks for identifying dish names and their origins. We provide evaluation datasets in two sizes (12k and 60k instances) alongside a training dataset (1 million instances). Our findings show that while VLMs perform better with correct location context, they struggle with adversarial contexts and predicting specific regional cuisines and languages. To support future research, we release a knowledge base with annotated food entries and images along with the VQA data.

WorldCuisines: 글로벌 요리에 대한 다국어 및 다문화 시각 질의 응답을 위한 대규모 벤치마크

WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines

초록

Summary

Support