WALL-E 2.0: Werelduitlijning via NeuroSymbolisch Leren verbetert Wereldmodel-gebaseerde LLM-agenten

WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents

April 22, 2025

Auteurs: Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

cs.AI

Samenvatting

Kunnen we nauwkeurige wereldmodellen bouwen op basis van grote taalmodellen (LLM's)? Hoe kunnen wereldmodellen LLM-agenten ten goede komen? De kloof tussen de voorkennis van LLM's en de dynamiek van een specifieke omgeving vormt meestal een knelpunt voor de prestaties van LLM's als wereldmodellen. Om deze kloof te overbruggen, stellen we een trainingsvrije "werelduitlijning" voor die symbolische kennis over een omgeving leert die complementair is aan LLM's. Deze symbolische kennis omvat actieregels, kennisgrafieken en scènegrafieken, die door LLM's worden geëxtraheerd uit verkenningspaden en worden gecodeerd in uitvoerbare code om het beleid van LLM-agenten te reguleren. We introduceren verder een RL-vrije, modelgebaseerde agent "WALL-E 2.0" via het model-predictive control (MPC)-raamwerk. In tegenstelling tot klassieke MPC, die kostbare optimalisatie op het moment zelf vereist, gebruiken we een LLM-agent als een efficiënte vooruitkijkende optimalisator van toekomstige acties door interactie met het neurosymbolische wereldmodel. Terwijl de sterke heuristiek van de LLM-agent het een efficiënte planner maakt in MPC, wordt de kwaliteit van de geplande acties ook gewaarborgd door de nauwkeurige voorspellingen van het uitgelijnde wereldmodel. Samen verbeteren ze aanzienlijk de leer efficiëntie in een nieuwe omgeving. Bij open-werelduitdagingen in Mars (Minecraft-achtig) en ALFWorld (belichaamde binnenomgevingen) presteert WALL-E 2.0 aanzienlijk beter dan bestaande methoden, bijvoorbeeld door de basislijnen in Mars te overtreffen met 16,1%-51,6% succespercentage en met minstens 61,7% in score. In ALFWorld behaalt het een nieuw record van 98% succespercentage na slechts 4 iteraties.

English

Can we build accurate world models out of large language models (LLMs)? How can world models benefit LLM agents? The gap between the prior knowledge of LLMs and the specified environment's dynamics usually bottlenecks LLMs' performance as world models. To bridge the gap, we propose a training-free "world alignment" that learns an environment's symbolic knowledge complementary to LLMs. The symbolic knowledge covers action rules, knowledge graphs, and scene graphs, which are extracted by LLMs from exploration trajectories and encoded into executable codes to regulate LLM agents' policies. We further propose an RL-free, model-based agent "WALL-E 2.0" through the model-predictive control (MPC) framework. Unlike classical MPC requiring costly optimization on the fly, we adopt an LLM agent as an efficient look-ahead optimizer of future steps' actions by interacting with the neurosymbolic world model. While the LLM agent's strong heuristics make it an efficient planner in MPC, the quality of its planned actions is also secured by the accurate predictions of the aligned world model. They together considerably improve learning efficiency in a new environment. On open-world challenges in Mars (Minecraft like) and ALFWorld (embodied indoor environments), WALL-E 2.0 significantly outperforms existing methods, e.g., surpassing baselines in Mars by 16.1%-51.6% of success rate and by at least 61.7% in score. In ALFWorld, it achieves a new record 98% success rate after only 4 iterations.