DreamPolish: Domeinscoreverfijning met progressieve geometriegeneratie

DreamPolish: Domain Score Distillation With Progressive Geometry Generation

November 3, 2024

Auteurs: Yean Cheng, Ziqi Cai, Ming Ding, Wendi Zheng, Shiyu Huang, Yuxiao Dong, Jie Tang, Boxin Shi

cs.AI

Samenvatting

We introduceren DreamPolish, een tekst-naar-3D-generatiemodel dat uitblinkt in het produceren van verfijnde geometrie en hoogwaardige texturen. In de geometrieconstructiefase maakt onze aanpak gebruik van meerdere neurale representaties om de stabiliteit van het synthese proces te verbeteren. In plaats van uitsluitend te vertrouwen op een op zicht geconditioneerde diffusieprior in de nieuw gesamplede weergaven, wat vaak leidt tot ongewenste artefacten in het geometrische oppervlak, voegen we een extra normalen schatter toe om de geometrische details te verfijnen, geconditioneerd op standpunten met variërende gezichtsvelden. We stellen voor om een oppervlaktepolijstfase toe te voegen met slechts een paar trainingsstappen, die effectief de artefacten kan verfijnen die worden toegeschreven aan beperkte begeleiding van eerdere stadia en 3D-objecten kan produceren met meer wenselijke geometrie. Het belangrijkste onderwerp van textuurgeneratie met behulp van vooraf getrainde tekst-naar-afbeeldingmodellen is om een geschikt domein te vinden in de uitgebreide latente distributie van deze modellen die fotorealistische en consistente renderingen bevat. In de textuurgeneratiefase introduceren we een nieuw scoredestillatie-objectief, namelijk domeinscoredestillatie (DSD), om neurale representaties naar zo'n domein te leiden. We halen inspiratie uit de classifier-vrije begeleiding (CFG) in tekstgeconditioneerde beeldgeneratietaken en tonen aan dat CFG en variatiedistributiebegeleiding verschillende aspecten vertegenwoordigen in gradientbegeleiding en beide essentiële domeinen zijn voor de verbetering van textuurkwaliteit. Uitgebreide experimenten tonen aan dat ons voorgestelde model 3D-assets kan produceren met gepolijste oppervlakken en fotorealistische texturen, waarbij het bestaande state-of-the-art methoden overtreft.

English

We introduce DreamPolish, a text-to-3D generation model that excels in producing refined geometry and high-quality textures. In the geometry construction phase, our approach leverages multiple neural representations to enhance the stability of the synthesis process. Instead of relying solely on a view-conditioned diffusion prior in the novel sampled views, which often leads to undesired artifacts in the geometric surface, we incorporate an additional normal estimator to polish the geometry details, conditioned on viewpoints with varying field-of-views. We propose to add a surface polishing stage with only a few training steps, which can effectively refine the artifacts attributed to limited guidance from previous stages and produce 3D objects with more desirable geometry. The key topic of texture generation using pretrained text-to-image models is to find a suitable domain in the vast latent distribution of these models that contains photorealistic and consistent renderings. In the texture generation phase, we introduce a novel score distillation objective, namely domain score distillation (DSD), to guide neural representations toward such a domain. We draw inspiration from the classifier-free guidance (CFG) in textconditioned image generation tasks and show that CFG and variational distribution guidance represent distinct aspects in gradient guidance and are both imperative domains for the enhancement of texture quality. Extensive experiments show our proposed model can produce 3D assets with polished surfaces and photorealistic textures, outperforming existing state-of-the-art methods.