VLsI: Strati verbalizzati per interazioni da modelli di linguaggio visione larga a piccola

VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models

December 2, 2024

Autori: Byung-Kwan Lee, Ryo Hachiuma, Yu-Chiang Frank Wang, Yong Man Ro, Yueh-Hua Wu

cs.AI

Abstract

L'aumento recente di campioni di sintonizzazione di istruzioni visive di alta qualità da modelli visione-linguaggio (VLM) di origine chiusa come GPT-4V ha accelerato il rilascio di VLM open-source in varie dimensioni di modello. Tuttavia, scalare i VLM per migliorare le prestazioni utilizzando modelli più grandi comporta significativi sfide computazionali, specialmente per la distribuzione su dispositivi con risorse limitate come piattaforme mobili e robot. Per affrontare questo problema, proponiamo VLsI: Strati-Interazioni Verbalizzati, una nuova famiglia di VLM nelle dimensioni del modello 2B e 7B, che privilegia l'efficienza senza compromettere l'accuratezza. VLsI sfrutta un processo di distillazione unico, strato per strato, introducendo "verbalizzatori" intermedi che mappano le caratteristiche di ciascuno strato nello spazio del linguaggio naturale, consentendo ai VLM più piccoli di allinearsi in modo flessibile con i processi di ragionamento dei VLM più grandi. Questo approccio mitiga l'instabilità dell'addestramento spesso riscontrata nell'imitazione dell'output e va oltre la tipica sintonizzazione dell'ultimo strato allineando la progressione strato per strato dei VLM piccoli con quella dei grandi. Convalidiamo VLsI su dieci impegnativi benchmark visione-linguaggio, ottenendo notevoli miglioramenti delle prestazioni (11,0% per 2B e 17,4% per 7B) rispetto a GPT-4V senza la necessità di scalare, fondere o apportare modifiche architetturali al modello.

English

The recent surge in high-quality visual instruction tuning samples from closed-source vision-language models (VLMs) such as GPT-4V has accelerated the release of open-source VLMs across various model sizes. However, scaling VLMs to improve performance using larger models brings significant computational challenges, especially for deployment on resource-constrained devices like mobile platforms and robots. To address this, we propose VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model sizes, which prioritizes efficiency without compromising accuracy. VLsI leverages a unique, layer-wise distillation process, introducing intermediate "verbalizers" that map features from each layer to natural language space, allowing smaller VLMs to flexibly align with the reasoning processes of larger VLMs. This approach mitigates the training instability often encountered in output imitation and goes beyond typical final-layer tuning by aligning the small VLMs' layer-wise progression with that of the large ones. We validate VLsI across ten challenging vision-language benchmarks, achieving notable performance gains (11.0% for 2B and 17.4% for 7B) over GPT-4V without the need for model scaling, merging, or architectural changes.