Einzelbild-iterative subjektgesteuerte Generierung und Bearbeitung

Single Image Iterative Subject-driven Generation and Editing

March 20, 2025

Autoren: Yair Shpitzer, Gal Chechik, Idan Schwartz

cs.AI

Zusammenfassung

Die Personalisierung der Bildgenerierung und -bearbeitung ist besonders herausfordernd, wenn wir nur wenige Bilder des Subjekts oder sogar nur ein einzelnes Bild zur Verfügung haben. Ein gängiger Ansatz zur Personalisierung ist das Konzeptlernen, das das Subjekt relativ schnell in bestehende Modelle integrieren kann, aber Bilder erzeugt, deren Qualität tendenziell schnell abnimmt, wenn die Anzahl der Subjektbilder gering ist. Die Qualität kann durch das Vortrainieren eines Encoders verbessert werden, doch das Training beschränkt die Generierung auf die Trainingsverteilung und ist zeitaufwendig. Es bleibt eine offene und schwierige Herausforderung, die Bildgenerierung und -bearbeitung anhand eines einzelnen Bildes ohne Training zu personalisieren. Hier präsentieren wir SISO, einen neuartigen, trainingsfreien Ansatz, der auf der Optimierung eines Ähnlichkeitswerts mit einem Eingabebild des Subjekts basiert. Genauer gesagt generiert SISO iterativ Bilder und optimiert das Modell basierend auf dem Verlust der Ähnlichkeit mit dem gegebenen Subjektbild, bis ein zufriedenstellendes Maß an Ähnlichkeit erreicht ist. Dies ermöglicht eine Plug-and-Play-Optimierung für jeden Bildgenerator. Wir haben SISO in zwei Aufgaben, Bildbearbeitung und Bildgenerierung, mit einem vielfältigen Datensatz persönlicher Subjekte evaluiert und zeigen signifikante Verbesserungen gegenüber bestehenden Methoden in Bezug auf Bildqualität, Subjekttreue und Hintergrundbewahrung.

English

Personalizing image generation and editing is particularly challenging when we only have a few images of the subject, or even a single image. A common approach to personalization is concept learning, which can integrate the subject into existing models relatively quickly, but produces images whose quality tends to deteriorate quickly when the number of subject images is small. Quality can be improved by pre-training an encoder, but training restricts generation to the training distribution, and is time consuming. It is still an open hard challenge to personalize image generation and editing from a single image without training. Here, we present SISO, a novel, training-free approach based on optimizing a similarity score with an input subject image. More specifically, SISO iteratively generates images and optimizes the model based on loss of similarity with the given subject image until a satisfactory level of similarity is achieved, allowing plug-and-play optimization to any image generator. We evaluated SISO in two tasks, image editing and image generation, using a diverse data set of personal subjects, and demonstrate significant improvements over existing methods in image quality, subject fidelity, and background preservation.