Evolutie en Het Knightiaanse Blinde Vlek van Machine Learning
Evolution and The Knightian Blindspot of Machine Learning
January 22, 2025
Auteurs: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee
cs.AI
Samenvatting
Deze paper stelt dat machine learning (ML) grotendeels een belangrijk aspect van algemene intelligentie over het hoofd ziet: robuustheid tegenover een kwalitatief onbekende toekomst in een open wereld. Deze robuustheid heeft betrekking op Knightiaanse onzekerheid (KU) in de economie, d.w.z. onzekerheid die niet gekwantificeerd kan worden, en die wordt uitgesloten van overweging in de belangrijkste formalismen van ML. Deze paper heeft tot doel dit blinde vlek te identificeren, het belang ervan te beargumenteren en onderzoek te stimuleren om ermee om te gaan, wat volgens ons noodzakelijk is om echt robuuste open-world AI te creëren. Om de blinde vlek te verduidelijken, contrasteren we een gebied van ML, reinforcement learning (RL), met het proces van biologische evolutie. Ondanks verbazingwekkende voortdurende vooruitgang, worstelt RL nog steeds in open-world situaties, vaak falend onder onvoorziene omstandigheden. Zo lijkt bijvoorbeeld het idee om een zelfrijdende autopolicy die alleen in de VS is getraind zonder enige aanpassing over te brengen naar het VK momenteel buitengewoon ambitieus. In schril contrast produceert biologische evolutie routinematig agenten die gedijen in een open wereld, soms zelfs in situaties die opmerkelijk buiten de distributie vallen (bijv. invasieve soorten; of mensen, die dergelijke zero-shot internationaal rijden wel ondernemen). Interessant genoeg bereikt evolutie dergelijke robuustheid zonder expliciete theorie, formalismen of wiskundige gradiënten. We onderzoeken de aannames die ten grondslag liggen aan de typische formalismen van RL, en laten zien hoe deze de betrokkenheid van RL bij de onbekende onbekenden die kenmerkend zijn voor een voortdurend veranderende complexe wereld beperken. Verder identificeren we mechanismen waarmee evolutionaire processen robuustheid tegenover nieuwe en onvoorspelbare uitdagingen bevorderen, en bespreken mogelijke manieren om deze algoritmisch te belichamen. De conclusie is dat de intrigerende resterende kwetsbaarheid van ML mogelijk het gevolg is van blinde vlekken in zijn formalismen, en dat aanzienlijke winst kan worden geboekt door rechtstreeks de confrontatie aan te gaan met de uitdaging van KU.
English
This paper claims that machine learning (ML) largely overlooks an important
facet of general intelligence: robustness to a qualitatively unknown future in
an open world. Such robustness relates to Knightian uncertainty (KU) in
economics, i.e. uncertainty that cannot be quantified, which is excluded from
consideration in ML's key formalisms. This paper aims to identify this blind
spot, argue its importance, and catalyze research into addressing it, which we
believe is necessary to create truly robust open-world AI. To help illuminate
the blind spot, we contrast one area of ML, reinforcement learning (RL), with
the process of biological evolution. Despite staggering ongoing progress, RL
still struggles in open-world situations, often failing under unforeseen
situations. For example, the idea of zero-shot transferring a self-driving car
policy trained only in the US to the UK currently seems exceedingly ambitious.
In dramatic contrast, biological evolution routinely produces agents that
thrive within an open world, sometimes even to situations that are remarkably
out-of-distribution (e.g. invasive species; or humans, who do undertake such
zero-shot international driving). Interestingly, evolution achieves such
robustness without explicit theory, formalisms, or mathematical gradients. We
explore the assumptions underlying RL's typical formalisms, showing how they
limit RL's engagement with the unknown unknowns characteristic of an
ever-changing complex world. Further, we identify mechanisms through which
evolutionary processes foster robustness to novel and unpredictable challenges,
and discuss potential pathways to algorithmically embody them. The conclusion
is that the intriguing remaining fragility of ML may result from blind spots in
its formalisms, and that significant gains may result from direct confrontation
with the challenge of KU.Summary
AI-Generated Summary