Bewertung von Intelligenz durch Versuch und Irrtum

Evaluating Intelligence via Trial and Error

February 26, 2025

Autoren: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

Zusammenfassung

Intelligenz ist eine entscheidende Eigenschaft von Spezies, um Lösungen innerhalb einer begrenzten Anzahl von Versuch-und-Irrtum-Versuchen zu finden. Aufbauend auf dieser Idee führen wir das Survival Game als Rahmenwerk ein, um Intelligenz basierend auf der Anzahl der gescheiterten Versuche in einem Versuch-und-Irrtum-Prozess zu bewerten. Weniger Fehlschläge deuten auf eine höhere Intelligenz hin. Wenn sowohl der Erwartungswert als auch die Varianz der Fehlschläge endlich sind, signalisiert dies die Fähigkeit, konsistent Lösungen für neue Herausforderungen zu finden, was wir als das Autonome Niveau der Intelligenz definieren. Mithilfe des Survival Games bewerten wir umfassend bestehende KI-Systeme. Unsere Ergebnisse zeigen, dass KI-Systeme zwar das Autonome Niveau bei einfachen Aufgaben erreichen, sie jedoch bei komplexeren Aufgaben wie Sehen, Suche, Empfehlung und Sprache noch weit davon entfernt sind. Während die Skalierung aktueller KI-Technologien helfen könnte, wäre dies mit astronomischen Kosten verbunden. Prognosen deuten darauf hin, dass das Erreichen des Autonomen Niveaus für allgemeine Aufgaben 10^{26} Parameter erfordern würde. Um dies ins Verhältnis zu setzen: Das Laden eines so massiven Modells erfordert so viele H100-GPUs, dass ihr Gesamtwert das 10^{7}-fache des Marktwerts von Apple Inc. beträgt. Selbst mit Moores Gesetz würde die Unterstützung eines solchen Parameterumfangs 70 Jahre dauern. Diese überwältigenden Kosten unterstreichen die Komplexität menschlicher Aufgaben und die Unzulänglichkeiten aktueller KI-Technologien. Um dieses Phänomen weiter zu untersuchen, führen wir eine theoretische Analyse des Survival Games und seiner experimentellen Ergebnisse durch. Unsere Erkenntnisse deuten darauf hin, dass menschliche Aufgaben eine kritische Eigenschaft besitzen. Folglich erfordert das Autonome Niveau ein tiefes Verständnis der zugrunde liegenden Mechanismen der Aufgabe. Aktuelle KI-Systeme erfassen diese Mechanismen jedoch nicht vollständig und verlassen sich stattdessen auf oberflächliche Nachahmung, was es ihnen erschwert, ein autonomes Niveau zu erreichen. Wir glauben, dass das Survival Game nicht nur die zukünftige Entwicklung der KI leiten, sondern auch tiefe Einblicke in die menschliche Intelligenz bieten kann.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.