Uno per dominarli tutti: linguaggio naturale per legare comunicazione, percezione e azione

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

Autori: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

Abstract

Negli ultimi anni, la ricerca nell'ambito dell'interazione uomo-robot si è concentrata sullo sviluppo di robot capaci di comprendere istruzioni umane complesse e di svolgere compiti in ambienti dinamici e diversificati. Questi sistemi hanno una vasta gamma di applicazioni, dall'assistenza personale alla robotica industriale, sottolineando l'importanza dei robot che interagiscono in modo flessibile, naturale e sicuro con gli esseri umani. Questo articolo presenta un'architettura avanzata per la pianificazione delle azioni robotiche che integra comunicazione, percezione e pianificazione con i Grandi Modelli Linguistici (LLM). Il nostro sistema è progettato per tradurre comandi espressi in linguaggio naturale in azioni eseguibili dal robot, incorporando informazioni ambientali e aggiornando dinamicamente i piani in base al feedback in tempo reale. Il Modulo di Pianificazione è il nucleo del sistema dove i LLM incorporati in un framework ReAct modificato vengono impiegati per interpretare ed eseguire i comandi dell'utente. Sfruttando la loro vasta conoscenza preaddestrata, i LLM possono elaborare efficacemente le richieste degli utenti senza la necessità di introdurre nuove conoscenze sull'ambiente mutevole. Il framework ReAct modificato potenzia ulteriormente lo spazio di esecuzione fornendo percezione ambientale in tempo reale e gli esiti delle azioni fisiche. Combinando rappresentazioni di mappe semantiche robuste e dinamiche sotto forma di grafi con componenti di controllo e spiegazioni dei fallimenti, questa architettura potenzia l'adattabilità del robot, l'esecuzione dei compiti e la collaborazione senza soluzione di continuità con gli utenti umani in ambienti condivisi e dinamici. Attraverso l'integrazione di cicli di feedback continui con l'ambiente, il sistema può regolare dinamicamente il piano per adattarsi a cambiamenti imprevisti, ottimizzando la capacità del robot di svolgere compiti. Utilizzando un dataset di esperienze precedenti è possibile fornire un feedback dettagliato sui fallimenti. Aggiornando il contesto dei LLM per la successiva iterazione con suggerimenti su come superare il problema.

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.