Game4Loc: 게임 데이터에서 파생된 UAV 지리적 위치 지표 벤치마크

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

저자: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

초록

UAV를 위한 시각 기반 지리 위치 기술은 전역 항법 위성 시스템(GNSS)에 추가된 GPS 정보의 보조원으로 작용하여 GPS가 차단된 환경에서도 독립적으로 작동할 수 있습니다. 최근의 딥러닝 기반 방법은 이를 이미지 매칭 및 검색 작업으로 설명합니다. 지리 태그가 지정된 위성 이미지 데이터베이스에서 드론 뷰 이미지를 검색함으로써 근사한 위치 정보를 얻을 수 있습니다. 그러나 높은 비용과 개인정보 보호 문제로 인해 연속적인 지역에서 대량의 드론 뷰 이미지를 얻는 것은 일반적으로 어렵습니다. 기존의 드론 뷰 데이터셋은 주로 완벽한 일대일 정렬된 참조 이미지가 쿼리에 대해 존재한다는 강력한 가정 하에 소규모 항공 사진으로 구성되어 있어 실제 위치 지정 시나리오와 상당한 차이가 있습니다. 본 연구에서는 최신 컴퓨터 게임을 활용하여 다양한 비행 고도, 자세, 장면 및 대상을 특징으로 하는 대규모 연속 지역 UAV 지리 위치 데이터셋인 GTA-UAV를 구축합니다. 이 데이터셋을 기반으로 부분적인 교차 뷰 페어 데이터의 일치와 이미지 수준의 검색을 거리(미터) 측면에서 실제 위치 지정으로 확장하는 보다 실용적인 UAV 지리 위치 작업을 소개합니다. 드론 뷰와 위성 뷰 페어의 구성을 위해 가중치 기반 대조 학습 접근 방식을 채택하여 추가 후처리 일치 단계를 피하면서 효과적인 학습이 가능합니다. 실험 결과는 우리의 데이터 및 교육 방법이 UAV 지리 위치에 대한 효과성과 실제 세계 시나리오로의 일반화 능력을 입증합니다.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.