이미지 생성을 위한 제어 신호로서 GPS

GPS as a Control Signal for Image Generation

January 21, 2025

저자: Chao Feng, Ziyang Chen, Aleksander Holynski, Alexei A. Efros, Andrew Owens

cs.AI

초록

우리는 사진 메타데이터에 포함된 GPS 태그가 이미지 생성을 위한 유용한 제어 신호를 제공한다는 것을 보여줍니다. 우리는 GPS-to-image 모델을 훈련시키고, 도시 내에서 이미지가 어떻게 다양하게 변하는지에 대한 세밀한 이해가 필요한 작업에 사용합니다. 특히, 우리는 GPS와 텍스트에 의존하는 이미지 생성을 위해 확산 모델을 훈련시킵니다. 학습된 모델은 서로 다른 동네, 공원 및 랜드마크의 독특한 외관을 담은 이미지를 생성합니다. 또한 GPS 조건을 활용하여 2D GPS-to-image 모델에서 3D 모델을 추출하는데 점수 증류 샘플링을 사용하며, 각 관점에서 재구성의 외관을 제약하는 데 GPS 조건을 활용합니다. 우리의 평가는 GPS 조건부 모델이 위치에 따라 다양한 이미지를 생성하는 것을 성공적으로 학습하며, GPS 조건이 추정된 3D 구조를 개선하는 것을 보여줍니다.

English

We show that the GPS tags contained in photo metadata provide a useful control signal for image generation. We train GPS-to-image models and use them for tasks that require a fine-grained understanding of how images vary within a city. In particular, we train a diffusion model to generate images conditioned on both GPS and text. The learned model generates images that capture the distinctive appearance of different neighborhoods, parks, and landmarks. We also extract 3D models from 2D GPS-to-image models through score distillation sampling, using GPS conditioning to constrain the appearance of the reconstruction from each viewpoint. Our evaluations suggest that our GPS-conditioned models successfully learn to generate images that vary based on location, and that GPS conditioning improves estimated 3D structure.