VisualLens: Personalizzazione attraverso la Storia Visiva

VisualLens: Personalization through Visual History

November 25, 2024

Autori: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Abstract

Ipotizziamo che la storia visiva di un utente con immagini che riflettono la sua vita quotidiana offra preziose intuizioni sui suoi interessi e preferenze, e possa essere sfruttata per la personalizzazione. Tra le molte sfide per raggiungere questo obiettivo, la principale è rappresentata dalla diversità e dai rumori nella storia visiva, che contiene immagini non necessariamente correlate a un compito di raccomandazione, non riflettendo necessariamente l'interesse dell'utente, o addirittura non rilevanti per le preferenze. I sistemi di raccomandazione esistenti si basano o sui log di interazione specifici del compito dell'utente, come la storia degli acquisti online per le raccomandazioni di acquisto, o si concentrano sui segnali di testo. Proponiamo un approccio innovativo, VisualLens, che estrae, filtra e affina le rappresentazioni delle immagini, e sfrutta questi segnali per la personalizzazione. Abbiamo creato due nuovi benchmark con storie visive agnostiche rispetto al compito, e dimostriamo che il nostro metodo migliora le raccomandazioni all'avanguardia del 5-10% su Hit@3, e migliora rispetto a GPT-4o del 2-5%. Il nostro approccio apre la strada per raccomandazioni personalizzate in scenari in cui i metodi tradizionali falliscono.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.