Pensa Prima di Consigliare: Sfruttare il Potenziale di Ragionamento Latente per il Recommandazione Sequenziale

Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation

March 28, 2025

Autori: Jiakai Tang, Sunhao Dai, Teng Shi, Jun Xu, Xu Chen, Wen Chen, Wu Jian, Yuning Jiang

cs.AI

Abstract

La Raccomandazione Sequenziale (SeqRec) mira a prevedere il prossimo elemento catturando i modelli sequenziali dalle interazioni storiche degli utenti, svolgendo un ruolo cruciale in molti sistemi di raccomandazione del mondo reale. Tuttavia, gli approcci esistenti adottano prevalentemente un paradigma di calcolo diretto in avanti, in cui lo stato nascosto finale del codificatore sequenziale funge da rappresentazione dell'utente. Sosteniamo che questo paradigma di inferenza, a causa della sua profondità computazionale limitata, fatica a modellare la natura complessa e in evoluzione delle preferenze degli utenti e manca di una comprensione sfumata degli elementi di coda lunga, portando a prestazioni subottimali. Per affrontare questo problema, proponiamo ReaRec, il primo framework di calcolo al momento dell'inferenza per i sistemi di raccomandazione, che migliora le rappresentazioni degli utenti attraverso un ragionamento implicito a più passi. Nello specifico, ReaRec alimenta autoregressivamente l'ultimo stato nascosto della sequenza nel raccomandatore sequenziale, incorporando speciali incorporamenti di posizione di ragionamento per disaccoppiare lo spazio di codifica originale degli elementi dallo spazio di ragionamento a più passi. Inoltre, introduciamo due metodi di apprendimento leggeri basati sul ragionamento, l'Apprendimento per Ragionamento Ensemble (ERL) e l'Apprendimento per Ragionamento Progressivo (PRL), per sfruttare ulteriormente in modo efficace il potenziale di ragionamento di ReaRec. Esperimenti estesi su cinque dataset pubblici del mondo reale e diverse architetture SeqRec dimostrano la generalità e l'efficacia del nostro ReaRec proposto. Notevolmente, analisi post-hoc rivelano che ReaRec eleva significativamente il limite di prestazione di molteplici backbones di raccomandazione sequenziale di circa il 30\%-50\%. Pertanto, crediamo che questo lavoro possa aprire una nuova e promettente strada per la ricerca futura nel calcolo al momento dell'inferenza per la raccomandazione sequenziale.

English

Sequential Recommendation (SeqRec) aims to predict the next item by capturing sequential patterns from users' historical interactions, playing a crucial role in many real-world recommender systems. However, existing approaches predominantly adopt a direct forward computation paradigm, where the final hidden state of the sequence encoder serves as the user representation. We argue that this inference paradigm, due to its limited computational depth, struggles to model the complex evolving nature of user preferences and lacks a nuanced understanding of long-tail items, leading to suboptimal performance. To address this issue, we propose ReaRec, the first inference-time computing framework for recommender systems, which enhances user representations through implicit multi-step reasoning. Specifically, ReaRec autoregressively feeds the sequence's last hidden state into the sequential recommender while incorporating special reasoning position embeddings to decouple the original item encoding space from the multi-step reasoning space. Moreover, we introduce two lightweight reasoning-based learning methods, Ensemble Reasoning Learning (ERL) and Progressive Reasoning Learning (PRL), to further effectively exploit ReaRec's reasoning potential. Extensive experiments on five public real-world datasets and different SeqRec architectures demonstrate the generality and effectiveness of our proposed ReaRec. Remarkably, post-hoc analyses reveal that ReaRec significantly elevates the performance ceiling of multiple sequential recommendation backbones by approximately 30\%-50\%. Thus, we believe this work can open a new and promising avenue for future research in inference-time computing for sequential recommendation.