에이전시는 프레임에 따라 달라집니다.

Agency Is Frame-Dependent

February 6, 2025

저자: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

초록

에이전시는 시스템이 목표를 향해 결과를 조종할 수 있는 능력을 나타내는 것이며, 생물학, 철학, 인지과학, 그리고 인공지능 분야에서 중요한 주제로 연구되고 있다. 시스템이 에이전시를 나타내는지 여부를 결정하는 것은 악명높은 어려운 문제이다. 예를 들어, Dennett (1989)는 바위, 온도 조절기, 또는 로봇 각각이 에이전시를 가지고 있는지를 결정할 수 있는 원칙이 무엇인지를 결정하는 문제를 강조하고 있다. 본 연구에서는 이러한 문제를 강화 학습의 관점에서 다루며, 에이전시는 근본적으로 프레임에 따라 달라진다는 주장을 제시한다. 시스템의 에이전시를 측정하는 것은 반드시 기준 프레임에 상대적으로 이루어져야 한다는 것을 논증을 통해 지지한다. 우리는 Barandiaran 등(2009)과 Moreno(2018)가 제안한 에이전시의 주요 특성들이 그 자체로 프레임에 의존적이라는 철학적 주장을 제시하여 이 주장을 뒷받침한다. 에이전시의 기본적인 과학은 프레임 의존성을 요구하며, 이 주장이 강화 학습에 대한 영향에 대해 논의한다.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.