GAEA: Ein geolokalisierungsbewusstes Konversationsmodell

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

Autoren: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

Zusammenfassung

Die Bildgeolokalisierung, bei der traditionell ein KI-Modell die genauen GPS-Koordinaten eines Bildes vorhersagt, ist eine anspruchsvolle Aufgabe mit vielen nachgelagerten Anwendungen. Allerdings kann der Benutzer das Modell nicht nutzen, um sein Wissen über die GPS-Koordinate hinaus zu erweitern; dem Modell fehlt das Verständnis des Ortes und die Fähigkeit, mit dem Benutzer in einen Dialog zu treten. In jüngster Zeit haben Forscher, sowohl im proprietären als auch im Open-Source-Bereich, mit den enormen Fortschritten bei großen multimodalen Modellen (LMMs) versucht, Bilder mithilfe von LMMs zu geolokalisieren. Die Probleme bleiben jedoch ungelöst; über allgemeine Aufgaben hinaus, für spezialisiertere nachgelagerte Aufgaben, zu denen auch die Geolokalisierung gehört, kämpfen LMMs. In dieser Arbeit schlagen wir vor, dieses Problem zu lösen, indem wir ein dialogfähiges Modell namens GAEA einführen, das Informationen über den Standort eines Bildes, wie vom Benutzer benötigt, bereitstellen kann. Es existiert kein groß angelegter Datensatz, der das Training eines solchen Modells ermöglicht. Daher schlagen wir einen umfassenden Datensatz GAEA mit 800.000 Bildern und etwa 1,6 Millionen Frage-Antwort-Paaren vor, der durch die Nutzung von OpenStreetMap (OSM)-Attributen und geografischen Kontexthinweisen erstellt wurde. Für die quantitative Bewertung schlagen wir einen vielfältigen Benchmark vor, der 4.000 Bild-Text-Paare umfasst, um die dialogfähigen Fähigkeiten mit verschiedenen Fragetypen zu bewerten. Wir betrachten 11 state-of-the-art Open-Source- und proprietäre LMMs und zeigen, dass GAEA das beste Open-Source-Modell, LLaVA-OneVision, um 25,69 % und das beste proprietäre Modell, GPT-4o, um 8,28 % deutlich übertrifft. Unser Datensatz, Modell und Code sind verfügbar.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available