Evolution und der Knight'sche Blinde Fleck des maschinellen Lernens

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

Autoren: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

Zusammenfassung

Dieses Papier behauptet, dass maschinelles Lernen (ML) weitgehend einen wichtigen Aspekt der allgemeinen Intelligenz vernachlässigt: die Robustheit gegenüber einer qualitativ unbekannten Zukunft in einer offenen Welt. Diese Robustheit steht in Beziehung zur Knight'schen Unsicherheit (KU) in der Wirtschaft, d.h. Unsicherheit, die nicht quantifiziert werden kann und die in den Schlüsselformalismen des ML nicht berücksichtigt wird. Dieses Papier zielt darauf ab, diesen blinden Fleck zu identifizieren, seine Bedeutung zu erörtern und die Forschung zur Bewältigung desselben anzustoßen, was unserer Meinung nach notwendig ist, um wirklich robuste KI für eine offene Welt zu schaffen. Um den blinden Fleck zu verdeutlichen, vergleichen wir einen Bereich des ML, das reinforcement learning (RL), mit dem Prozess der biologischen Evolution. Trotz beeindruckender Fortschritte hat RL nach wie vor Schwierigkeiten in offenen Situationen und scheitert oft an unvorhergesehenen Ereignissen. Zum Beispiel erscheint die Idee, eine selbstfahrende Autopolitik, die nur in den USA trainiert wurde, ohne vorheriges Training in Großbritannien einzusetzen, derzeit äußerst ehrgeizig. Im dramatischen Gegensatz dazu produziert die biologische Evolution routinemäßig Agenten, die in einer offenen Welt gedeihen, manchmal sogar in Situationen, die bemerkenswert außerhalb der Verteilung liegen (z.B. invasive Arten; oder Menschen, die solch einen internationalen Fahrstil ohne vorheriges Training übernehmen). Interessanterweise erreicht die Evolution eine solche Robustheit ohne explizite Theorie, Formalismen oder mathematische Gradienten. Wir untersuchen die Annahmen, die den typischen Formalismen des RL zugrunde liegen, und zeigen, wie sie das Engagement des RL mit den unbekannten Unbekannten einschränken, die für eine sich ständig verändernde komplexe Welt charakteristisch sind. Darüber hinaus identifizieren wir Mechanismen, durch die evolutionäre Prozesse Robustheit gegenüber neuen und unvorhersehbaren Herausforderungen fördern, und diskutieren potenzielle Wege, um sie algorithmisch zu verkörpern. Die Schlussfolgerung ist, dass die faszinierende verbleibende Fragilität des ML möglicherweise auf blinden Flecken in seinen Formalismen beruht und dass bedeutende Fortschritte aus direkter Konfrontation mit der Herausforderung der KU resultieren können.

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.