LiFT: Sfruttare il Feedback Umano per l'Allineamento del Modello Testo-Video

LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment

December 6, 2024

Autori: Yibin Wang, Zhiyu Tan, Junyan Wang, Xiaomeng Yang, Cheng Jin, Hao Li

cs.AI

Abstract

I recenti progressi nei modelli generativi di testo-a-video (T2V) hanno mostrato capacità impressionanti. Tuttavia, questi modelli sono ancora inadeguati nell'allineare i video sintetizzati con le preferenze umane (ad esempio, riflettere accuratamente le descrizioni di testo), il che risulta particolarmente difficile da affrontare, poiché le preferenze umane sono intrinsecamente soggettive e complesse da formalizzare come funzioni obiettive. Pertanto, questo articolo propone LiFT, un nuovo metodo di raffinamento sfruttando il feedback umano per l'allineamento del modello T2V. In particolare, costruiamo inizialmente un dataset di annotazioni di valutazione umana, LiFT-HRA, composto da circa 10k annotazioni umane, ciascuna includente un punteggio e la relativa motivazione. Sulla base di questo, addestriamo un modello di ricompensa LiFT-Critic per apprendere efficacemente la funzione di ricompensa, che funge da sostituto del giudizio umano, misurando l'allineamento tra i video forniti e le aspettative umane. Infine, sfruttiamo la funzione di ricompensa appresa per allineare il modello T2V massimizzando la probabilità pesata dalla ricompensa. Come studio di caso, applichiamo il nostro processo a CogVideoX-2B, dimostrando che il modello raffinato supera il CogVideoX-5B su tutti e 16 i metriche, evidenziando il potenziale del feedback umano nel migliorare l'allineamento e la qualità dei video sintetizzati.

English

Recent advancements in text-to-video (T2V) generative models have shown impressive capabilities. However, these models are still inadequate in aligning synthesized videos with human preferences (e.g., accurately reflecting text descriptions), which is particularly difficult to address, as human preferences are inherently subjective and challenging to formalize as objective functions. Therefore, this paper proposes LiFT, a novel fine-tuning method leveraging human feedback for T2V model alignment. Specifically, we first construct a Human Rating Annotation dataset, LiFT-HRA, consisting of approximately 10k human annotations, each including a score and its corresponding rationale. Based on this, we train a reward model LiFT-Critic to learn reward function effectively, which serves as a proxy for human judgment, measuring the alignment between given videos and human expectations. Lastly, we leverage the learned reward function to align the T2V model by maximizing the reward-weighted likelihood. As a case study, we apply our pipeline to CogVideoX-2B, showing that the fine-tuned model outperforms the CogVideoX-5B across all 16 metrics, highlighting the potential of human feedback in improving the alignment and quality of synthesized videos.