Evolutie en Het Knightiaanse Blinde Vlek van Machine Learning

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025
Auteurs: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee
cs.AI

Samenvatting

Deze paper stelt dat machine learning (ML) grotendeels een belangrijk aspect van algemene intelligentie over het hoofd ziet: robuustheid tegenover een kwalitatief onbekende toekomst in een open wereld. Deze robuustheid heeft betrekking op Knightiaanse onzekerheid (KU) in de economie, d.w.z. onzekerheid die niet gekwantificeerd kan worden, en die wordt uitgesloten van overweging in de belangrijkste formalismen van ML. Deze paper heeft tot doel dit blinde vlek te identificeren, het belang ervan te beargumenteren en onderzoek te stimuleren om ermee om te gaan, wat volgens ons noodzakelijk is om echt robuuste open-world AI te creëren. Om de blinde vlek te verduidelijken, contrasteren we een gebied van ML, reinforcement learning (RL), met het proces van biologische evolutie. Ondanks verbazingwekkende voortdurende vooruitgang, worstelt RL nog steeds in open-world situaties, vaak falend onder onvoorziene omstandigheden. Zo lijkt bijvoorbeeld het idee om een zelfrijdende autopolicy die alleen in de VS is getraind zonder enige aanpassing over te brengen naar het VK momenteel buitengewoon ambitieus. In schril contrast produceert biologische evolutie routinematig agenten die gedijen in een open wereld, soms zelfs in situaties die opmerkelijk buiten de distributie vallen (bijv. invasieve soorten; of mensen, die dergelijke zero-shot internationaal rijden wel ondernemen). Interessant genoeg bereikt evolutie dergelijke robuustheid zonder expliciete theorie, formalismen of wiskundige gradiënten. We onderzoeken de aannames die ten grondslag liggen aan de typische formalismen van RL, en laten zien hoe deze de betrokkenheid van RL bij de onbekende onbekenden die kenmerkend zijn voor een voortdurend veranderende complexe wereld beperken. Verder identificeren we mechanismen waarmee evolutionaire processen robuustheid tegenover nieuwe en onvoorspelbare uitdagingen bevorderen, en bespreken mogelijke manieren om deze algoritmisch te belichamen. De conclusie is dat de intrigerende resterende kwetsbaarheid van ML mogelijk het gevolg is van blinde vlekken in zijn formalismen, en dat aanzienlijke winst kan worden geboekt door rechtstreeks de confrontatie aan te gaan met de uitdaging van KU.
English
This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.

Summary

AI-Generated Summary

PDF62January 24, 2025