RewardSDS: Ausrichtung der Score-Destillation durch belohnungsgewichtete Stichprobenentnahme

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Autoren: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Zusammenfassung

Score Distillation Sampling (SDS) hat sich als effektive Technik erwiesen, um 2D-Diffusions-Priors für Aufgaben wie Text-zu-3D-Generierung zu nutzen. Obwohl leistungsstark, hat SDS Schwierigkeiten, eine fein abgestimmte Ausrichtung an der Benutzerintention zu erreichen. Um dies zu überwinden, führen wir RewardSDS ein, einen neuartigen Ansatz, der Rauschproben basierend auf Ausrichtungswerten eines Belohnungsmodells gewichtet und so einen gewichteten SDS-Verlust erzeugt. Dieser Verlust priorisiert Gradienten von Rauschproben, die eine ausgerichtete, hoch belohnte Ausgabe liefern. Unser Ansatz ist breit anwendbar und kann SDS-basierte Methoden erweitern. Insbesondere demonstrieren wir seine Anwendbarkeit auf Variational Score Distillation (VSD) durch die Einführung von RewardVSD. Wir evaluieren RewardSDS und RewardVSD in Aufgaben der Text-zu-Bild-Generierung, 2D-Bearbeitung und Text-zu-3D-Generierung und zeigen signifikante Verbesserungen gegenüber SDS und VSD in einer Vielzahl von Metriken, die die Generierungsqualität und die Ausrichtung auf gewünschte Belohnungsmodelle messen, was eine state-of-the-art Leistung ermöglicht. Die Projektseite ist verfügbar unter https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.