Memory makes computation universal, remember?

要約

AI 機能の最近の進歩は、ますます洗練されたアーキテクチャと調整技術によるものだと考えられていますが、これらの進歩は、メモリによって計算が普遍化されるという、より単純な原理で説明できるかもしれません。
メモリは、再帰的な状態維持と信頼性の高い履歴アクセスという 2 つの基本的な機能を通じて汎用的な計算を可能にします。
私たちは、これらの要件が普遍的な計算に必要かつ十分であることを正式に証明します。
この原理は、セルラーコンピューティングからニューラルネットワーク、言語モデルに至るまで、さまざまな規模で現れます。
複雑な動作は、高度な処理ユニットからではなく、時間の経過に伴う状態の維持とアクセスから発生します。
ニューラル ネットワークのような並列システムが、基本単位の制限にもかかわらず、繰り返し全体で状態を維持することによって普遍的な計算をどのように達成するかを示します。
この理論的枠組みは普遍的なパターンを明らかにしています。つまり、計算の進歩は、より複雑な基本操作からではなく、状態を維持およびアクセスする能力の強化から一貫して生まれます。
私たちの分析は、生物システム、人工知能、人間の認知にわたる計算の理解を統合し、人類自身の計算能力が、口頭伝承、文字、そして現在ではコンピューティングを通じて記憶する技術的能力と歩調を合わせて進化してきたことを思い出させます。

要約(オリジナル)

Recent breakthroughs in AI capability have been attributed to increasingly sophisticated architectures and alignment techniques, but a simpler principle may explain these advances: memory makes computation universal. Memory enables universal computation through two fundamental capabilities: recursive state maintenance and reliable history access. We formally prove these requirements are both necessary and sufficient for universal computation. This principle manifests across scales, from cellular computation to neural networks to language models. Complex behavior emerges not from sophisticated processing units but from maintaining and accessing state across time. We demonstrate how parallel systems like neural networks achieve universal computation despite limitations in their basic units by maintaining state across iterations. This theoretical framework reveals a universal pattern: computational advances consistently emerge from enhanced abilities to maintain and access state rather than from more complex basic operations. Our analysis unifies understanding of computation across biological systems, artificial intelligence, and human cognition, reminding us that humanity’s own computational capabilities have evolved in step with our technical ability to remember through oral traditions, writing, and now computing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google