Molar: Modelli Linguaggio Multimodali con Allineamento Collaborativo di Filtraggio per un Miglioramento della Raccomandazione Sequenziale

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Autori: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Abstract

I sistemi di raccomandazione sequenziale (SR) hanno subito un'evoluzione significativa nell'ultimo decennio, passando dal filtraggio collaborativo tradizionale agli approcci di apprendimento profondo e, più recentemente, ai grandi modelli linguistici (LLM). Sebbene l'adozione dei LLM abbia portato a notevoli progressi, questi modelli mancano intrinsecamente di informazioni sul filtraggio collaborativo, basandosi principalmente sui dati di contenuto testuale trascurando altre modalità e quindi non riuscendo a raggiungere prestazioni di raccomandazione ottimali. Per affrontare questa limitazione, proponiamo Molar, un framework di raccomandazione sequenziale multimodale basato su grandi modelli linguistici che integra diverse modalità di contenuto con informazioni ID per catturare segnali collaborativi in modo efficace. Molar utilizza un MLLM per generare rappresentazioni unificate degli elementi da dati sia testuali che non testuali, facilitando una modellazione multimodale completa e arricchendo gli embedding degli elementi. Inoltre, incorpora segnali di filtraggio collaborativo attraverso un meccanismo di post-allineamento, che allinea le rappresentazioni degli utenti da modelli basati sul contenuto e sull'ID, garantendo una personalizzazione precisa e prestazioni robuste. Combinando in modo fluido contenuti multimodali con intuizioni di filtraggio collaborativo, Molar cattura sia gli interessi degli utenti che le semantica contestuale, portando a una maggiore precisione nelle raccomandazioni. Esperimenti estesi confermano che Molar supera significativamente i baselines tradizionali e basati su LLM, evidenziando la sua capacità di utilizzare dati multimodali e segnali collaborativi per compiti di raccomandazione sequenziale. Il codice sorgente è disponibile su https://anonymous.4open.science/r/Molar-8B06/.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.