UniGoal: Auf dem Weg zur universellen Nullschuss-Zielnavigation

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

Autoren: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

Zusammenfassung

In diesem Artikel schlagen wir einen allgemeinen Rahmen für universelle Zero-Shot-Zielnavigation vor. Bestehende Zero-Shot-Methoden bauen Inferenzframeworks auf großen Sprachmodellen (LLM) für spezifische Aufgaben auf, die sich stark in der Gesamtpipeline unterscheiden und nicht über verschiedene Zieltypen hinweg verallgemeinern können. Um das Ziel der universellen Zero-Shot-Navigation zu erreichen, schlagen wir eine einheitliche Graph-Darstellung vor, um verschiedene Ziele zu vereinheitlichen, einschließlich Objektkategorie, Instanzbild und Textbeschreibung. Wir wandeln auch die Beobachtung des Agenten in einen online gepflegten Szenengraphen um. Mit dieser konsistenten Szenen- und Zielrepräsentation bewahren wir die meisten strukturellen Informationen im Vergleich zu reinem Text und können LLM für explizite graphenbasierte Schlussfolgerungen nutzen. Konkret führen wir zu jedem Zeitpunkt eine Graph-Zuordnung zwischen dem Szenengraphen und dem Zielgraphen durch und schlagen verschiedene Strategien vor, um langfristige Erkundungsziele basierend auf unterschiedlichen Zuordnungszuständen zu generieren. Der Agent sucht zunächst iterativ nach einem Teilgraphen des Ziels, wenn keine Übereinstimmung vorliegt. Bei teilweiser Übereinstimmung nutzt der Agent dann Koordinatenprojektion und Ankerpaarausrichtung, um die Zielposition abzuleiten. Schließlich werden Szenengraphenkorrektur und Zielverifikation für eine perfekte Übereinstimmung angewendet. Wir führen auch einen Blacklist-Mechanismus ein, um einen robusten Wechsel zwischen den Phasen zu ermöglichen. Umfangreiche Experimente auf mehreren Benchmarks zeigen, dass unser UniGoal mit einem einzigen Modell state-of-the-art Zero-Shot-Leistungen bei drei untersuchten Navigationsaufgaben erzielt und sogar aufgabenspezifische Zero-Shot-Methoden und überwachte universelle Methoden übertrifft.

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.