Molar: LLMs Multimodais com Alinhamento de Filtragem Colaborativa para Recomendação Sequencial Aprimorada

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Autores: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Resumo

Os sistemas de recomendação sequencial (SR) evoluíram significativamente na última década, passando de métodos tradicionais de filtragem colaborativa para abordagens de aprendizado profundo e, mais recentemente, para grandes modelos de linguagem (LLMs). Embora a adoção de LLMs tenha impulsionado avanços substanciais, esses modelos naturalmente carecem de informações de filtragem colaborativa, dependendo principalmente de dados de conteúdo textual, negligenciando outras modalidades e, portanto, não conseguindo alcançar um desempenho de recomendação ótimo. Para lidar com essa limitação, propomos o Molar, um framework de recomendação sequencial de grande linguagem multimodal que integra múltiplas modalidades de conteúdo com informações de ID para capturar sinais colaborativos de forma eficaz. O Molar utiliza um MLLM para gerar representações unificadas de itens a partir de dados tanto textuais quanto não textuais, facilitando a modelagem multimodal abrangente e enriquecendo os embeddings de itens. Além disso, incorpora sinais de filtragem colaborativa por meio de um mecanismo de pós-alinhamento, que alinha representações de usuários de modelos baseados em conteúdo e ID, garantindo personalização precisa e desempenho robusto. Ao combinar perfeitamente conteúdo multimodal com insights de filtragem colaborativa, o Molar captura tanto os interesses dos usuários quanto a semântica contextual, resultando em uma precisão de recomendação superior. Experimentos extensivos validam que o Molar supera significativamente baselines tradicionais e baseados em LLM, destacando sua capacidade de utilizar dados multimodais e sinais colaborativos para tarefas de recomendação sequencial. O código-fonte está disponível em https://anonymous.4open.science/r/Molar-8B06/.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.