진화와 기계 학습의 나이트 시각적 맹점

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

저자: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

초록

본 논문은 기계 학습(ML)이 일반적 지능의 중요한 측면인 미래의 질적으로 알려지지 않은 상황에 대한 견고성을 크게 간과한다고 주장합니다. 이러한 견고성은 경제학에서의 Knightian 불확실성(KU)과 관련이 있으며, 측정할 수 없는 불확실성을 의미하며, 이는 ML의 주요 형식론에서 배제됩니다. 본 논문은 이러한 미지점을 식별하고, 그 중요성을 주장하며, 이에 대한 연구를 촉진함으로써 실제로 견고한 개방형 AI를 창조하는 데 필요하다고 믿습니다. 이 미지점을 명확히 하기 위해 ML의 한 영역인 강화 학습(RL)을 생물 진화 과정과 대조합니다. 현저한 진전이 있음에도 불구하고, RL은 여전히 개방형 상황에서 고전하며, 종종 예기치 못한 상황에서 실패합니다. 예를 들어, 미국에서만 훈련된 자율 주행 자동차 정책을 영국으로 제로샷 전이하는 아이디어는 현재 매우 야심찹니다. 생물 진화는 대조적으로 개방형 세계에서 번성하는 에이전트를 규칙적으로 생산하는데, 때로는 분포 외의 상황(예: 침입종 또는 제로샷 국제 운전을 하는 사람들)에까지 이르는 상황에서도 번성합니다. 흥미롭게도 진화는 명시적 이론, 형식론 또는 수학적 그래디언트 없이 이러한 견고성을 달성합니다. 우리는 RL의 전형적인 형식론을 뒷받침하는 가정을 탐구하며, 이러한 가정이 계속해서 변화하는 복잡한 세계의 특징인 알려지지 않은 미지점과의 관련성을 제한하는 방식을 보여줍니다. 더 나아가, 진화 과정이 신규하고 예측할 수 없는 도전에 대한 견고성을 유도하는 메커니즘을 식별하고, 이를 알고리즘적으로 구현하는 잠재적인 방법을 논의합니다. 결론은 ML의 흥미로운 취약성이 그 형식론의 미지점에서 비롯될 수 있으며, KU의 도전과 직접적인 대립으로 상당한 이득을 얻을 수 있다는 것입니다.

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.