FFaceNeRF: Few-Shot-Gesichtsbearbeitung in Neural Radiance Fields

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Autoren: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Zusammenfassung

Aktuelle 3D-Gesichtsbearbeitungsmethoden, die Masken verwenden, haben durch den Einsatz von Neural Radiance Fields (NeRF) hochwertige bearbeitete Bilder erzeugt. Trotz ihrer beeindruckenden Leistung bieten bestehende Methoden oft nur begrenzte Benutzerkontrolle, da sie auf vortrainierte Segmentierungsmasken zurückgreifen. Um Masken mit einem gewünschten Layout zu nutzen, ist ein umfangreicher Trainingsdatensatz erforderlich, der schwer zu beschaffen ist. Wir stellen FFaceNeRF vor, eine auf NeRF basierende Gesichtsbearbeitungstechnik, die die Herausforderung der begrenzten Benutzerkontrolle durch die Verwendung fester Maskenlayouts überwinden kann. Unsere Methode verwendet einen Geometrie-Adapter mit Feature-Injektion, der eine effektive Manipulation von Geometrieattributen ermöglicht. Zusätzlich setzen wir latentes Mixing für die Tri-Plane-Erweiterung ein, was das Training mit wenigen Proben ermöglicht. Dies erleichtert die schnelle Anpassung des Modells an gewünschte Maskenlayouts, was für Anwendungen in Bereichen wie personalisierter medizinischer Bildgebung oder kreativer Gesichtsbearbeitung entscheidend ist. Unsere vergleichenden Bewertungen zeigen, dass FFaceNeRF bestehende maskenbasierte Gesichtsbearbeitungsmethoden in Bezug auf Flexibilität, Kontrolle und generierte Bildqualität übertrifft und den Weg für zukünftige Fortschritte in der maßgeschneiderten und hochauflösenden 3D-Gesichtsbearbeitung ebnet. Der Code ist auf der {https://kwanyun.github.io/FFaceNeRF_page/{Projektseite}} verfügbar.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.