FlexiTex: 시각적 안내를 통한 질감 생성 향상

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

저자: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

초록

최근의 질감 생성 방법은 대규모 텍스트-이미지 확산 모델로부터 활용하는 강력한 생성적 사전 덕분에 인상적인 결과를 달성하고 있습니다. 그러나 추상적인 텍스트 프롬프트는 전역적인 질감이나 모양 정보를 제공하는 데 제한이 있어 질감 생성 방법이 흐릿하거나 일관성 없는 패턴을 생성하는 결과를 초래합니다. 이를 해결하기 위해 우리는 FlexiTex를 제안하여 시각적 안내를 통해 풍부한 정보를 포함시켜 고품질 질감을 생성합니다. FlexiTex의 핵심은 시각적 안내 강화 모듈로, 시각적 안내로부터 더 구체적인 정보를 통합하여 텍스트 프롬프트의 모호성을 줄이고 고주파 세부 정보를 보존합니다. 시각적 안내를 더 향상하기 위해 우리는 방향 인식 적응 모듈을 소개하여 다양한 카메라 포즈를 기반으로 방향 프롬프트를 자동으로 설계함으로써 Janus 문제를 피하고 의미론적으로 전역적인 일관성을 유지합니다. 시각적 안내의 장점을 살려 FlexiTex는 양적으로나 질적으로 탄탄한 결과를 도출하여 실제 응용 프로그램을 위한 질감 생성의 발전 가능성을 입증합니다.

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.