SpaceBlender: 생성적 3D 장면 블렌딩을 통해 맥락 풍부한 협업 공간 생성

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

저자: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

초록

최근에는 가상 현실 (VR) 애플리케이션을 위해 생성적 AI를 사용하여 3D 공간을 만드는 데 관심이 높아지고 있습니다. 그러나 오늘날의 모델은 협업 작업을 지원하는 데 부족한 인공 환경을 생성합니다. 사용자의 물리적 맥락을 통합하는 데 이점을 얻는 협업 작업을 지원하는 환경을 생성하기 위해 VR 원격 참여를 지원하는 환경을 생성하기 위해 SpaceBlender를 소개합니다. SpaceBlender는 사용자의 물리적 환경을 가상 공간으로 통합하기 위해 생성적 AI 기술을 활용하는 혁신적인 파이프라인입니다. 이 파이프라인은 깊이 추정, 메시 정렬 및 기하학적 사전 및 적응형 텍스트 프롬프트에 의해 안내되는 확산 기반 공간 완성으로 구성된 반복적 과정을 통해 사용자가 제공한 2D 이미지를 맥락 풍부한 3D 환경으로 변환합니다. 20명의 참가자가 짝을 이루어 협업 VR 친화도 다이어그래밍 작업을 수행한 예비 실험에서 SpaceBlender를 일반적인 가상 환경 및 최신 장면 생성 프레임워크와 비교하여 협업에 적합한 가상 공간을 만드는 능력을 평가했습니다. 참가자들은 SpaceBlender가 제공하는 향상된 익숙함과 맥락을 평가했지만 작업 집중을 방해할 수 있는 생성적 환경의 복잡성도 언급했습니다. 참가자 피드백을 바탕으로 파이프라인을 개선하기 위한 방향을 제안하고 다양한 시나리오에 대한 혼합된 공간의 가치와 설계에 대해 논의합니다.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.