モラール：協調フィルタリングアライメントを備えたマルチモーダルLLMによる強化されたシーケンシャル推薦

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

著者: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

要旨

過去10年間で、連続推薦（SR）システムは大きく進化し、従来の協調フィルタリングから深層学習アプローチ、そしてさらに最近では大規模言語モデル（LLM）へと移行してきました。LLMの採用により大きな進歩がもたらされましたが、これらのモデルには協調フィルタリング情報が不足しており、主にテキストコンテンツデータに依存して他のモダリティを無視し、したがって最適な推薦パフォーマンスを達成できていません。この制限に対処するために、私たちはMolarという、複数のコンテンツモダリティをID情報と統合し、協調信号を効果的に捉える大規模言語連続推薦フレームワークを提案します。Molarは、テキストと非テキストデータの両方から統一されたアイテム表現を生成するためにMLLMを使用し、包括的なマルチモーダルモデリングを促進し、アイテムの埋め込みを豊かにします。さらに、コンテンツベースとIDベースのモデルからユーザー表現を整列させるポストアライメントメカニズムを介して協調フィルタリング信号を組み込み、正確な個別化と堅牢なパフォーマンスを確保します。マルチモーダルコンテンツと協調フィルタリングの洞察をシームレスに組み合わせることで、Molarはユーザーの興味と文脈的意味を両方捉え、優れた推薦精度を実現します。包括的な実験により、Molarが従来のベースラインやLLMベースのモデルを大幅に上回ることが検証され、マルチモーダルデータと協調信号を連続推薦タスクに活用する強みが示されました。ソースコードはhttps://anonymous.4open.science/r/Molar-8B06/で入手可能です。

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.