생성적 세계 탐험가

초록

부분 관찰로 계획을 세우는 것은 신체를 가진 AI에서의 중요한 도전 과제입니다. 이전 연구의 대부분은 에이전트가 환경을 탐구하여 세계 상태에 대한 믿음을 업데이트하는 방식으로 이 도전 과제에 대처해 왔습니다. 그에 반해 인간은 정신적 탐구를 통해 세계의 보이지 않는 부분을 상상하고 상상된 관측을 통해 자신의 믿음을 수정할 수 있습니다. 이러한 업데이트된 믿음은 항상 세계를 물리적으로 탐색할 필요 없이 보다 정보에 기반한 결정을 내릴 수 있게 합니다. 이러한 인간과 유사한 능력을 달성하기 위해 우리는 생성적 세계 탐색자 (Genex)를 소개합니다. 이는 에이전트가 대규모 3D 세계(예: 도시 장면)를 정신적으로 탐색하고 상상된 관측을 획득하여 믿음을 업데이트할 수 있는 프레임워크입니다. 이 업데이트된 믿음은 그 후 에이전트가 현재 단계에서 보다 정보에 기반한 결정을 내릴 수 있도록 도와줍니다. Genex를 훈련하기 위해 우리는 합성 도시 장면 데이터셋인 Genex-DB를 생성합니다. 실험 결과는 다음을 보여줍니다: (1) Genex는 대규모 가상 물리적 세계의 장기 탐사 중에 고품질이고 일관된 관측을 생성할 수 있으며 (2) 생성된 관측으로 업데이트된 믿음은 기존의 의사 결정 모델(예: LLM 에이전트)에게 더 나은 계획을 세우도록 안내할 수 있습니다.

English

Planning with partial observation is a central challenge in embodied AI. A majority of prior works have tackled this challenge by developing agents that physically explore their environment to update their beliefs about the world state.In contrast, humans can imagine unseen parts of the world through a mental exploration and revise their beliefs with imagined observations. Such updated beliefs can allow them to make more informed decisions, without necessitating the physical exploration of the world at all times. To achieve this human-like ability, we introduce the Generative World Explorer (Genex), an egocentric world exploration framework that allows an agent to mentally explore a large-scale 3D world (e.g., urban scenes) and acquire imagined observations to update its belief. This updated belief will then help the agent to make a more informed decision at the current step. To train Genex, we create a synthetic urban scene dataset, Genex-DB. Our experimental results demonstrate that (1) Genex can generate high-quality and consistent observations during long-horizon exploration of a large virtual physical world and (2) the beliefs updated with the generated observations can inform an existing decision-making model (e.g., an LLM agent) to make better plans.

생성적 세계 탐험가

Generative World Explorer

초록

Summary

Support