카오스의 가장자리에 위치한 지능

Intelligence at the Edge of Chaos

October 3, 2024

저자: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

초록

우리는 규칙 기반 시스템의 복잡성이 모델의 능력에 어떻게 영향을 미치는지 조사함으로써 인공 시스템에서 지능적인 행동이 어떻게 발생하는지 탐구합니다. 우리의 연구는 기초 셀룰러 오토마타(ECA)에 초점을 맞춘다. 이는 단순하지만 강력한 1차원 시스템으로, 하찮은 것부터 매우 복잡한 행동까지 생성합니다. 서로 다른 대규모 언어 모델(LLM)을 다양한 ECA에 훈련시킴으로써, 우리는 규칙의 행동 복잡성과 LLM이 나타내는 지능 사이의 관계를 평가했습니다. 이는 LLM의 하류 작업에서의 성능을 통해 나타났습니다. 우리의 연구 결과는 더 높은 복잡성을 가진 규칙이 더 뛰어난 지능을 나타내는 모델로 이어진다는 것을 보여줍니다. 이는 추론 및 체스 이동 예측 작업에서의 성능을 통해 입증되었습니다. 균일 및 주기적 시스템뿐만 아니라 종종 매우 혼돈된 시스템은 하류 성능이 떨어지는 결과를 가져왔습니다. 이는 지능에 유리한 복잡성의 최적점을 강조하고 있습니다. 우리는 지능이 복잡성을 예측하는 능력에서 발생하며, 지능을 만들기 위해서는 단지 복잡성에 노출되는 것만으로도 충분할 수 있다는 가설을 제시합니다.

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.