Predizione del Prossimo Token verso l'Intelligenza Multimodale: un Saggio Completo

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

December 16, 2024

Autori: Liang Chen, Zekun Wang, Shuhuai Ren, Lei Li, Haozhe Zhao, Yunshui Li, Zefan Cai, Hongcheng Guo, Lei Zhang, Yizhe Xiong, Yichi Zhang, Ruoyu Wu, Qingxiu Dong, Ge Zhang, Jian Yang, Lingwei Meng, Shujie Hu, Yulong Chen, Junyang Lin, Shuai Bai, Andreas Vlachos, Xu Tan, Minjia Zhang, Wen Xiao, Aaron Yee, Tianyu Liu, Baobao Chang

cs.AI

Abstract

Basandosi sulle fondamenta della modellazione del linguaggio nel processo di elaborazione del linguaggio naturale, la Predizione del Prossimo Token (NTP) si è evoluta in un obiettivo di allenamento versatile per compiti di apprendimento automatico attraverso varie modalità, ottenendo un notevole successo. Poiché i Grandi Modelli Linguistici (LLM) hanno progredito nell'unificare compiti di comprensione e generazione all'interno della modalità testuale, recenti ricerche hanno dimostrato che compiti provenienti da diverse modalità possono essere efficacemente racchiusi all'interno del framework NTP, trasformando le informazioni multimodali in token e prevedendo il successivo dato il contesto. Questa indagine introduce una tassonomia completa che unifica sia la comprensione che la generazione all'interno dell'apprendimento multimodale attraverso la lente del NTP. La tassonomia proposta copre cinque aspetti chiave: Tokenizzazione multimodale, architetture del modello MMNTP, rappresentazione unificata del compito, set di dati \& valutazione e sfide aperte. Questa nuova tassonomia mira ad aiutare i ricercatori nella loro esplorazione dell'intelligenza multimodale. Un repository GitHub associato che raccoglie gli ultimi articoli e repository è disponibile su https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction.

English

Building on the foundations of language modeling in natural language processing, Next Token Prediction (NTP) has evolved into a versatile training objective for machine learning tasks across various modalities, achieving considerable success. As Large Language Models (LLMs) have advanced to unify understanding and generation tasks within the textual modality, recent research has shown that tasks from different modalities can also be effectively encapsulated within the NTP framework, transforming the multimodal information into tokens and predict the next one given the context. This survey introduces a comprehensive taxonomy that unifies both understanding and generation within multimodal learning through the lens of NTP. The proposed taxonomy covers five key aspects: Multimodal tokenization, MMNTP model architectures, unified task representation, datasets \& evaluation, and open challenges. This new taxonomy aims to aid researchers in their exploration of multimodal intelligence. An associated GitHub repository collecting the latest papers and repos is available at https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction