MIT-10M: un corpus parallelo su larga scala di traduzione di immagini multilingue

MIT-10M: A Large Scale Parallel Corpus of Multilingual Image Translation

December 10, 2024

Autori: Bo Li, Shaolin Zhu, Lijie Wen

cs.AI

Abstract

La Traduzione di Immagini (IT) possiede un enorme potenziale in diversi ambiti, consentendo la traduzione dei contenuti testuali all'interno delle immagini in varie lingue. Tuttavia, i dataset esistenti spesso presentano limitazioni in termini di scala, diversità e qualità, ostacolando lo sviluppo e la valutazione dei modelli di IT. Per affrontare questo problema, presentiamo MIT-10M, un corpus parallelo su larga scala di traduzione di immagini multilingue con oltre 10 milioni di coppie immagine-testo derivate da dati del mondo reale, che sono stati sottoposti a un'ampia pulizia dei dati e validazione della traduzione multilingue. Esso contiene 840.000 immagini in tre dimensioni, 28 categorie, compiti con tre livelli di difficoltà e 14 coppie immagine-testo in diverse lingue, rappresentando un notevole miglioramento rispetto ai dataset esistenti. Conduciamo ampi esperimenti per valutare e addestrare i modelli su MIT-10M. I risultati sperimentali indicano chiaramente che il nostro dataset ha una maggiore adattabilità nella valutazione delle prestazioni dei modelli nel affrontare compiti di traduzione di immagini impegnativi e complessi nel mondo reale. Inoltre, le prestazioni del modello ottimizzato con MIT-10M sono triplicate rispetto al modello di base, confermandone ulteriormente la superiorità.

English

Image Translation (IT) holds immense potential across diverse domains, enabling the translation of textual content within images into various languages. However, existing datasets often suffer from limitations in scale, diversity, and quality, hindering the development and evaluation of IT models. To address this issue, we introduce MIT-10M, a large-scale parallel corpus of multilingual image translation with over 10M image-text pairs derived from real-world data, which has undergone extensive data cleaning and multilingual translation validation. It contains 840K images in three sizes, 28 categories, tasks with three levels of difficulty and 14 languages image-text pairs, which is a considerable improvement on existing datasets. We conduct extensive experiments to evaluate and train models on MIT-10M. The experimental results clearly indicate that our dataset has higher adaptability when it comes to evaluating the performance of the models in tackling challenging and complex image translation tasks in the real world. Moreover, the performance of the model fine-tuned with MIT-10M has tripled compared to the baseline model, further confirming its superiority.