시각 렌즈: 시각적 역사를 통한 개인화

VisualLens: Personalization through Visual History

November 25, 2024

저자: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

초록

우리는 사용자의 시각적 히스토리가 일상을 반영하는 이미지를 통해 그들의 관심사와 선호도에 대한 소중한 통찰을 제공하며 개인화에 활용될 수 있다고 가설을 세웁니다. 이 목표를 달성하기 위한 많은 도전 중 가장 중요한 것은 시각적 히스토리에 포함된 다양성과 잡음입니다. 이는 추천 작업과 관련이 없는 이미지, 사용자의 관심을 반영하지 않을 수도 있고 심지어 선호와 관련이 없을 수도 있는 이미지를 포함합니다. 기존의 추천 시스템은 특정 작업용 사용자 상호작용 로그(예: 온라인 쇼핑 히스토리)에 의존하거나 텍스트 신호에 초점을 맞춥니다. 저희는 VisualLens라는 새로운 접근 방식을 제안합니다. 이 방법은 이미지 표현을 추출, 필터링, 정제하고 이러한 신호를 개인화에 활용합니다. 우리는 작업에 중립적인 시각적 히스토리를 가진 두 가지 새로운 벤치마크를 만들었으며, 우리의 방법이 Hit@3에서 최신 추천 시스템보다 5-10% 향상되고 GPT-4o보다 2-5% 향상됨을 보여줍니다. 우리의 접근 방식은 전통적인 방법이 실패하는 시나리오에서의 개인화된 추천을 위한 길을 열어놓습니다.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.