Pangea: Een Volledig Open Meertalig Multimodaal GPT voor 39 Talen

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

October 21, 2024

Auteurs: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig

cs.AI

Samenvatting

Ondanks recente vooruitgang in multimodale grote taalmodellen (MLLM's) heeft de ontwikkeling zich voornamelijk gericht op Engels- en op het Westen gerichte datasets en taken, waardoor de meeste talen ter wereld en diverse culturele contexten ondervertegenwoordigd blijven. Dit artikel introduceert Pangea, een meertalig multimodaal LLM getraind op PangeaIns, een divers instructiedataset van 6M die 39 talen beslaat. PangeaIns kenmerkt zich door: 1) hoogwaardige Engelse instructies, 2) zorgvuldig machinevertaalde instructies, en 3) cultureel relevante multimodale taken om een ​​brede culturele dekking te waarborgen. Om de mogelijkheden van modellen grondig te beoordelen, introduceren we PangeaBench, een allesomvattende evaluatiesuite die 14 datasets omvat die 47 talen bestrijken. De resultaten tonen aan dat Pangea aanzienlijk beter presteert dan bestaande open-source modellen in meertalige omgevingen en diverse culturele contexten. Ablatieonderzoeken onthullen verder het belang van Engelse dataproporities, taalpopulariteit en het aantal multimodale trainingsvoorbeelden voor de algehele prestaties. We maken onze gegevens, code en getrainde checkpoints volledig open-source om de ontwikkeling van inclusieve en robuuste meertalige MLLM's te vergemakkelijken, en om gelijkheid en toegankelijkheid over een breder taalkundig en cultureel spectrum te bevorderen.

English

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.