Previsão do Próximo Token Rumo à Inteligência Multimodal: Uma Pesquisa Abrangente

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

December 16, 2024

Autores: Liang Chen, Zekun Wang, Shuhuai Ren, Lei Li, Haozhe Zhao, Yunshui Li, Zefan Cai, Hongcheng Guo, Lei Zhang, Yizhe Xiong, Yichi Zhang, Ruoyu Wu, Qingxiu Dong, Ge Zhang, Jian Yang, Lingwei Meng, Shujie Hu, Yulong Chen, Junyang Lin, Shuai Bai, Andreas Vlachos, Xu Tan, Minjia Zhang, Wen Xiao, Aaron Yee, Tianyu Liu, Baobao Chang

cs.AI

Resumo

Baseando-se nos fundamentos da modelagem de linguagem no processamento de linguagem natural, a Previsão do Próximo Token (PPT) evoluiu para um objetivo de treinamento versátil para tarefas de aprendizado de máquina em várias modalidades, alcançando sucesso considerável. À medida que os Modelos de Linguagem Grandes (MLGs) avançaram para unificar tarefas de compreensão e geração dentro da modalidade textual, pesquisas recentes mostraram que tarefas de diferentes modalidades também podem ser efetivamente encapsuladas no framework de PPT, transformando informações multimodais em tokens e prevendo o próximo dado o contexto. Esta pesquisa apresenta uma taxonomia abrangente que unifica tanto a compreensão quanto a geração no aprendizado multimodal sob a perspectiva de PPT. A taxonomia proposta abrange cinco aspectos-chave: Tokenização multimodal, arquiteturas de modelos MMNTP, representação unificada de tarefas, conjuntos de dados e avaliação, e desafios abertos. Esta nova taxonomia tem como objetivo auxiliar os pesquisadores em sua exploração da inteligência multimodal. Um repositório GitHub associado, que coleta os últimos artigos e repositórios, está disponível em https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction

English

Building on the foundations of language modeling in natural language processing, Next Token Prediction (NTP) has evolved into a versatile training objective for machine learning tasks across various modalities, achieving considerable success. As Large Language Models (LLMs) have advanced to unify understanding and generation tasks within the textual modality, recent research has shown that tasks from different modalities can also be effectively encapsulated within the NTP framework, transforming the multimodal information into tokens and predict the next one given the context. This survey introduces a comprehensive taxonomy that unifies both understanding and generation within multimodal learning through the lens of NTP. The proposed taxonomy covers five key aspects: Multimodal tokenization, MMNTP model architectures, unified task representation, datasets \& evaluation, and open challenges. This new taxonomy aims to aid researchers in their exploration of multimodal intelligence. An associated GitHub repository collecting the latest papers and repos is available at https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction