Evaluating Intelligence via Trial and Error

要約

知能は、限られた回数の試行錯誤の中で解決策を見出す種にとって重要な特性である。この考えに基づき、試行錯誤の過程で失敗した試行回数に基づいて知性を評価する枠組みとして、サバイバルゲームを導入する。失敗が少ないほど知能が高いことを示す。失敗回数の期待値と分散がともに有限である場合、新たな課題に対する解決策を一貫して見出す能力があることを示し、これを知能の自律レベルと定義する。サバイバルゲームを用いて、我々は既存のAIシステムを包括的に評価した。その結果、AIシステムは単純なタスクでは自律レベルを達成しているものの、視覚、検索、推薦、言語など、より複雑なタスクでは自律レベルにはまだ程遠いことがわかった。現在のAI技術を拡張することは助けになるかもしれないが、これには天文学的なコストがかかるだろう。予測によれば、一般的なタスクで自律レベルを達成するには、$10^{26}$のパラメータが必要になる。これを考慮すると、このような巨大なモデルをロードするには、非常に多くのH100 GPUが必要であり、その総価値はアップル社の市場価値の10^{7}$倍になる。ムーアの法則を用いても、このようなパラメータ・スケールをサポートするには70$年かかる。この途方もないコストは、人間のタスクの複雑さと現在のAI技術の不十分さを浮き彫りにしている。この現象をさらに調査するために、我々はサバイバルゲームの理論的分析とその実験結果を行った。その結果、人間のタスクには臨界性があることが示唆された。その結果、自律レベルではタスクの根底にあるメカニズムを深く理解する必要がある。しかし、現在のAIシステムは、これらのメカニズムを完全に把握しておらず、表面的な模倣に頼っているため、自律レベルに到達することが困難である。私たちは、サバイバルゲームが今後のAIの発展を導くだけでなく、人間の知性についても深い洞察を与えてくれると信じている。

要約(オリジナル)

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require $10^{26}$ parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is $10^{7}$ times that of Apple Inc.’s market value. Even with Moore’s Law, supporting such a parameter scale would take $70$ years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task’s underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL