Thermodynamic AI and the fluctuation frontier

要約

多くの人工知能 (AI) アルゴリズムは物理学に着想を得ており、確率的変動を採用しています。
これらの物理学に着想を得た AI アルゴリズムを、私たちが熱力学 AI と呼ぶ単一の数学的フレームワークの下で統合することによって結び付けます。
このフレームワークでは、(1) 生成的拡散モデル、(2) ベイジアン ニューラル ネットワーク、(3) モンテカルロ サンプリング、(4) シミュレーテッド アニーリングなど、一見異なるアルゴリズム クラスを記述することができます。
このような熱力学 AI アルゴリズムは現在、デジタル ハードウェアで実行されており、最終的にはスケーラビリティと全体的な可能性が制限されています。
物理的熱力学系では確率的ゆらぎが自然に発生し、そのようなゆらぎは計算リソースと見なすことができます。
したがって、ソフトウェアとハ​​ードウェアが不可分になる新しいコンピューティング パラダイムを提案します。
私たちのアルゴリズムの統合により、そのようなアルゴリズムを加速できる、熱力学的 AI ハードウェアを含む単一のフルスタック パラダイムを特定することができます。
熱力学 AI ハードウェアと、ノイズがリソースではなく障害物である量子コンピューティングを比較します。
熱力学 AI ハードウェアは、新しい基本的な構成要素を使用するため、新しい形式のコンピューティングと見なすことができます。
確率ビット (s-ビット) と確率モード (s-モード) を、離散的および連続的な熱力学 AI ハードウェアのそれぞれのビルディング ブロックとして識別します。
これらの確率的単位に加えて、熱力学 AI ハードウェアは、システムが非自明な状態を生成するように導くマクスウェルの悪魔デバイスを採用しています。
これらのデバイスを構築するためのいくつかの単純な物理アーキテクチャを提供し、ゲート シーケンスを介してハードウェアをプログラミングするための形式を開発します。
この新しいコンピューティング パラダイムに関する議論を活性化させたいと考えています。
アクセラレーションを超えて、ハードウェアとアルゴリズムの両方の設計に影響を与えると同時に、物理学と知能の関係についての理解を深めることができると考えています。

要約(オリジナル)

Many Artificial Intelligence (AI) algorithms are inspired by physics and employ stochastic fluctuations. We connect these physics-inspired AI algorithms by unifying them under a single mathematical framework that we call Thermodynamic AI. Seemingly disparate algorithmic classes can be described by this framework, for example, (1) Generative diffusion models, (2) Bayesian neural networks, (3) Monte Carlo sampling and (4) Simulated annealing. Such Thermodynamic AI algorithms are currently run on digital hardware, ultimately limiting their scalability and overall potential. Stochastic fluctuations naturally occur in physical thermodynamic systems, and such fluctuations can be viewed as a computational resource. Hence, we propose a novel computing paradigm, where software and hardware become inseparable. Our algorithmic unification allows us to identify a single full-stack paradigm, involving Thermodynamic AI hardware, that could accelerate such algorithms. We contrast Thermodynamic AI hardware with quantum computing where noise is a roadblock rather than a resource. Thermodynamic AI hardware can be viewed as a novel form of computing, since it uses a novel fundamental building block. We identify stochastic bits (s-bits) and stochastic modes (s-modes) as the respective building blocks for discrete and continuous Thermodynamic AI hardware. In addition to these stochastic units, Thermodynamic AI hardware employs a Maxwell’s demon device that guides the system to produce non-trivial states. We provide a few simple physical architectures for building these devices and we develop a formalism for programming the hardware via gate sequences. We hope to stimulate discussion around this new computing paradigm. Beyond acceleration, we believe it will impact the design of both hardware and algorithms, while also deepening our understanding of the connection between physics and intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google