DiffPortrait360: Konsistente Porträt-Diffusion für 360-Grad-Ansichtssynthese

DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis

March 19, 2025

Autoren: Yuming Gu, Phong Tran, Yujian Zheng, Hongyi Xu, Heyuan Li, Adilbek Karmanov, Hao Li

cs.AI

Zusammenfassung

Die Erzeugung hochwertiger 360-Grad-Ansichten von menschlichen Köpfen aus Einzelbildern ist entscheidend für die Entwicklung zugänglicher immersiver Telepräsenzanwendungen und skalierbarer personalisierter Inhaltserstellung. Während modernste Methoden zur vollständigen Kopfgenerierung auf die Modellierung realistischer menschlicher Köpfe beschränkt sind, können die neuesten diffusionsbasierten Ansätze zur stil-omniszienten Kopfsynthese lediglich Frontalansichten erzeugen und haben Schwierigkeiten mit der Ansichtskonsistenz, was ihre Umwandlung in echte 3D-Modelle für das Rendering aus beliebigen Blickwinkeln verhindert. Wir stellen einen neuartigen Ansatz vor, der vollständig konsistente 360-Grad-Kopfansichten erzeugt und dabei menschliche, stilisierte und anthropomorphe Formen sowie Accessoires wie Brillen und Hüte berücksichtigt. Unser Verfahren baut auf dem DiffPortrait3D-Framework auf, integriert ein spezielles ControlNet für die Detailgenerierung des Hinterkopfes und ein duales Erscheinungsmodul, um eine globale Konsistenz zwischen Vorder- und Rückseite zu gewährleisten. Durch das Training auf kontinuierlichen Ansichtssequenzen und die Integration eines Referenzbildes für die Rückseite erreicht unser Ansatz eine robuste, lokal kontinuierliche Ansichtssynthese. Unser Modell kann verwendet werden, um hochwertige neuronale Strahlungsfelder (NeRFs) für das Echtzeit-Rendering aus freier Perspektive zu erzeugen und übertrifft dabei state-of-the-art Methoden in der Objektsynthese und 360-Grad-Kopfgenerierung für sehr anspruchsvolle Eingangsporträts.

English

Generating high-quality 360-degree views of human heads from single-view images is essential for enabling accessible immersive telepresence applications and scalable personalized content creation. While cutting-edge methods for full head generation are limited to modeling realistic human heads, the latest diffusion-based approaches for style-omniscient head synthesis can produce only frontal views and struggle with view consistency, preventing their conversion into true 3D models for rendering from arbitrary angles. We introduce a novel approach that generates fully consistent 360-degree head views, accommodating human, stylized, and anthropomorphic forms, including accessories like glasses and hats. Our method builds on the DiffPortrait3D framework, incorporating a custom ControlNet for back-of-head detail generation and a dual appearance module to ensure global front-back consistency. By training on continuous view sequences and integrating a back reference image, our approach achieves robust, locally continuous view synthesis. Our model can be used to produce high-quality neural radiance fields (NeRFs) for real-time, free-viewpoint rendering, outperforming state-of-the-art methods in object synthesis and 360-degree head generation for very challenging input portraits.