Thermodynamic AI and the fluctuation frontier

要約

多くの人工知能 (AI) アルゴリズムは物理学からインスピレーションを得ており、確率的変動を採用しています。
私たちは、これらの物理学にヒントを得た AI アルゴリズムを、熱力学 AI と呼ばれる単一の数学的フレームワークの下に統合することで接続します。
一見異質に見えるアルゴリズム クラス、たとえば、(1) 生成拡散モデル、(2) ベイジアン ニューラル ネットワーク、(3) モンテカルロ サンプリング、(4) シミュレーテッド アニーリングなどをこのフレームワークで記述することができます。
このような熱力学 AI アルゴリズムは現在、デジタル ハードウェア上で実行されており、最終的にはその拡張性と全体的な可能性が制限されています。
物理的な熱力学系では確率的変動が自然に発生し、そのような変動は計算リソースとみなすことができます。
そこで、ソフトウェアとハ​​ードウェアが分離不可能となる、新しいコンピューティング パラダイムを提案します。
私たちのアルゴリズムの統合により、そのようなアルゴリズムを加速できる、熱力学 AI ハードウェアを含む単一のフルスタック パラダイムを特定することができます。
熱力学 AI ハードウェアと、ノイズがリソースではなく障害となる量子コンピューティングを対比します。
熱力学 AI ハードウェアは、新しい基本的な構成要素を使用するため、新しい形式のコンピューティングとみなすことができます。
確率的ビット (s ビット) と確率的モード (s モード) を、離散および連続の熱力学 AI ハードウェアのそれぞれの構成要素として特定します。
これらの確率的単位に加えて、熱力学 AI ハードウェアは、システムが非自明な状態を生成するように導くマクスウェルの悪魔デバイスを採用しています。
これらのデバイスを構築するための単純な物理アーキテクチャをいくつか提供し、ゲート シーケンスを介してハードウェアをプログラミングするための形式を開発します。
私たちは、この新しいコンピューティング パラダイムに関する議論を刺激したいと考えています。
加速を超えて、ハードウェアとアルゴリズムの両方の設計に影響を与えると同時に、物理学と知能の関係についての理解も深まると私たちは考えています。

要約(オリジナル)

Many Artificial Intelligence (AI) algorithms are inspired by physics and employ stochastic fluctuations. We connect these physics-inspired AI algorithms by unifying them under a single mathematical framework that we call Thermodynamic AI. Seemingly disparate algorithmic classes can be described by this framework, for example, (1) Generative diffusion models, (2) Bayesian neural networks, (3) Monte Carlo sampling and (4) Simulated annealing. Such Thermodynamic AI algorithms are currently run on digital hardware, ultimately limiting their scalability and overall potential. Stochastic fluctuations naturally occur in physical thermodynamic systems, and such fluctuations can be viewed as a computational resource. Hence, we propose a novel computing paradigm, where software and hardware become inseparable. Our algorithmic unification allows us to identify a single full-stack paradigm, involving Thermodynamic AI hardware, that could accelerate such algorithms. We contrast Thermodynamic AI hardware with quantum computing where noise is a roadblock rather than a resource. Thermodynamic AI hardware can be viewed as a novel form of computing, since it uses a novel fundamental building block. We identify stochastic bits (s-bits) and stochastic modes (s-modes) as the respective building blocks for discrete and continuous Thermodynamic AI hardware. In addition to these stochastic units, Thermodynamic AI hardware employs a Maxwell’s demon device that guides the system to produce non-trivial states. We provide a few simple physical architectures for building these devices and we develop a formalism for programming the hardware via gate sequences. We hope to stimulate discussion around this new computing paradigm. Beyond acceleration, we believe it will impact the design of both hardware and algorithms, while also deepening our understanding of the connection between physics and intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google