Agent-to-Sim: Het Leren van Interactieve Gedragsmodellen uit Informele Longitudinale Video's

Agent-to-Sim: Learning Interactive Behavior Models from Casual Longitudinal Videos

October 21, 2024

Auteurs: Gengshan Yang, Andrea Bajcsy, Shunsuke Saito, Angjoo Kanazawa

cs.AI

Samenvatting

We presenteren Agent-to-Sim (ATS), een framework voor het leren van interactieve gedragsmodellen van 3D-agenten uit informele longitudinale videocollecties. In tegenstelling tot eerdere werken die vertrouwen op marker-gebaseerde tracking en multiview-camera's, leert ATS natuurlijke gedragingen van dierlijke en menselijke agenten niet-invasief door middel van videoobservaties die gedurende een lange periode (bijv. een maand) in een enkele omgeving zijn opgenomen. Het modelleren van het 3D-gedrag van een agent vereist aanhoudende 3D-tracking (bijv. weten welk punt overeenkomt met welk punt) over een lange periode. Om dergelijke gegevens te verkrijgen, ontwikkelen we een grof-naar-fijne registratiemethode die de agent en de camera in de loop van de tijd volgt door middel van een canonieke 3D-ruimte, resulterend in een volledige en aanhoudende spacetime 4D-representatie. Vervolgens trainen we een generatief model van agentgedragingen met behulp van gepaarde gegevens van perceptie en beweging van een agent opgevraagd uit de 4D-reconstructie. ATS maakt real-to-sim-overdracht mogelijk van videoregistraties van een agent naar een interactieve gedragssimulator. We tonen resultaten op huisdieren (bijv. kat, hond, konijn) en mensen aan de hand van monoculaire RGBD-video's die zijn vastgelegd met een smartphone.

English

We present Agent-to-Sim (ATS), a framework for learning interactive behavior models of 3D agents from casual longitudinal video collections. Different from prior works that rely on marker-based tracking and multiview cameras, ATS learns natural behaviors of animal and human agents non-invasively through video observations recorded over a long time-span (e.g., a month) in a single environment. Modeling 3D behavior of an agent requires persistent 3D tracking (e.g., knowing which point corresponds to which) over a long time period. To obtain such data, we develop a coarse-to-fine registration method that tracks the agent and the camera over time through a canonical 3D space, resulting in a complete and persistent spacetime 4D representation. We then train a generative model of agent behaviors using paired data of perception and motion of an agent queried from the 4D reconstruction. ATS enables real-to-sim transfer from video recordings of an agent to an interactive behavior simulator. We demonstrate results on pets (e.g., cat, dog, bunny) and human given monocular RGBD videos captured by a smartphone.