Navigazione collaborativa delle istanze: Sfruttare il dialogo interno dell'agente per ridurre al minimo l'input dell'utente.

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

Autori: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

Abstract

Le attuali attività di navigazione degli obiettivi istanziati, basate sul corpo e guidate dal linguaggio naturale, presuppongono che gli utenti umani forniscono descrizioni complete e sfumate dell'istanza prima della navigazione, il che può essere impraticabile nel mondo reale poiché le istruzioni umane potrebbero essere brevi e ambigue. Per colmare questa lacuna, proponiamo un nuovo compito, Navigazione dell'Istanza Collaborativa (CoIN), con interazione dinamica agente-umano durante la navigazione per risolvere attivamente le incertezze sull'istanza di destinazione in dialoghi naturali, senza modelli predefiniti e aperti. Per affrontare CoIN, proponiamo un nuovo metodo, Interazione Agente-utente con Consapevolezza dell'Incertezza (AIUTA), sfruttando la capacità percettiva dei Modelli Linguaggio-Visione (VLM) e la capacità dei Grandi Modelli Linguistici (LLM). In primo luogo, dopo la rilevazione dell'oggetto, un modello Auto-Interrogatore avvia un auto-dialogo per ottenere una descrizione osservativa completa e accurata, mentre una nuova tecnica di stima dell'incertezza mitiga la percezione inaccurata del VLM. Successivamente, un modulo Trigger di Interazione determina se fare una domanda all'utente, continuare o interrompere la navigazione, riducendo al minimo l'input dell'utente. Per la valutazione, introduciamo CoIN-Bench, un benchmark che supporta sia utenti reali che simulati. AIUTA raggiunge prestazioni competitive nella navigazione delle istanze rispetto ai metodi all'avanguardia, dimostrando grande flessibilità nel gestire gli input degli utenti.

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.