RoCoTex: 확산 모델을 활용한 일관된 질감 합성을 위한 견고한 방법

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

저자: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

초록

텍스트 대 질감 생성은 최근에 증가하는 관심을 끌고 있지만, 기존 방법들은 종종 관점 불일치, 명백한 이음선, 그리고 질감과 기본 메쉬 간의 정렬 오류 문제로 고통받고 있습니다. 본 논문에서는 일관되고 이음선 없는 질감을 생성하며 메쉬와 잘 정렬된 질감을 제공하는 강력한 텍스트 대 질감 방법을 제안합니다. 우리의 방법은 SDXL 및 다중 ControlNets를 포함한 최첨단 2D 확산 모델을 활용하여 생성된 질감의 구조적 특징과 복잡한 세부 사항을 포착합니다. 또한 방법은 지역적 프롬프트와 결합된 대칭적인 관점 합성 전략을 사용하여 관점 일관성을 향상시킵니다. 게다가, 새로운 질감 혼합 및 부드러운 보정 기술을 도입하여 이음선 영역을 크게 줄입니다. 광범위한 실험 결과는 우리의 방법이 기존 최첨단 방법들을 능가함을 입증합니다.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.