대형 언어 및 시각 모델의 잠재 요소의 유령

Phantom of Latent for Large Language and Vision Models

September 23, 2024

저자: Byung-Kwan Lee, Sangyun Chung, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

초록

시각 지시 튜닝의 성공은 대형 언어 및 시각 모델(LLVMs)의 발전을 가속화했습니다. 지시 튜닝된 대형 언어 모델(LLMs)의 확장 법칙을 따르면, LLVMs는 크기를 더욱 증가시켜 26B, 34B, 심지어 80B의 매개변수에 도달했습니다. 모델 크기의 증가는 상당한 성능 향상을 가져왔지만, 교육 및 추론을 위해 상당히 많은 하드웨어 자원을 요구합니다. 따라서, 더 작은 크기로도 더 큰 모델의 성능을 달성하는 효율적인 LLVMs에 대한 강력한 필요성이 자연스럽게 존재합니다. 이 필요를 충족하기 위해, 우리는 0.5B, 1.8B, 3.8B 및 7B의 매개변수를 가진 새로운 효율적인 LLVM 패밀리인 Phantom을 제안합니다. Phantom은 제한된 구조 내에서 학습 능력을 크게 향상시킵니다. 다중 헤드 셀프 어텐션(MHSA) 중에 잠재 숨겨진 차원을 일시적으로 증가시킴으로써, 우리는 LLVMs가 물리적 모델 크기를 상당히 증가시키지 않고도 잠재적으로 훨씬 더 많은 시각-언어 지식을 보고 이해할 수 있도록 준비합니다. 이 이점을 극대화하기 위해, 우리는 오토레그레시브 지도 미세 조정(SFT) 및 직접 선호도 최적화(DPO)-와 유사한 개념을 사용하는 Phantom 최적화(PO)를 소개합니다. 이는 올바른 답변을 따르면서 잘못된 것과 모호한 것을 제거하여 효과적으로 작동합니다. Phantom은 다양한 대형 오픈 및 폐쇄 소스 LLVMs를 능가하여, 효율적인 LLVMs의 지혜로운 해결책으로 자리 잡고 있습니다.

English

The success of visual instruction tuning has accelerated the development of large language and vision models (LLVMs). Following the scaling laws of instruction-tuned large language models (LLMs), LLVMs either have further increased their sizes, reaching 26B, 34B, and even 80B parameters. While this increase in model size has yielded significant performance gains, it demands substantially more hardware resources for both training and inference. Consequently, there naturally exists a strong need for efficient LLVMs that achieve the performance of larger models while being smaller in size. To achieve this need, we present a new efficient LLVM family with model sizes of 0.5B, 1.8B, 3.8B, and 7B parameters, Phantom, which significantly enhances learning capabilities within limited structures. By temporarily increasing the latent hidden dimension during multi-head self-attention (MHSA), we make LLVMs prepare to look and understand much more vision-language knowledge on the latent, without substantially increasing physical model sizes. To maximize its advantage, we introduce Phantom Optimization (PO) using both autoregressive supervised fine-tuning (SFT) and direct preference optimization (DPO)-like concept, which effectively follows correct answers while eliminating incorrect and ambiguous ones. Phantom outperforms numerous larger open- and closed-source LLVMs, positioning itself as a leading solution in the landscape of efficient LLVMs.