Quantum-noise-limited optical neural networks operating at a few quanta per activation

要約

アナログ物理ニューラル ネットワークは、デジタル電子ニューラル ネットワークと比較してエネルギー効率と速度の向上が期待されていますが、通常、信号対雑音比 (SNR) が大きい (>10) ように、比較的高出力の領域で動作します。
。
代わりに、アナログ システムが超低電力領域で動作するとどうなるでしょうか。この領域では、システムの動作が高度に確率的になり、ノイズが信号上の小さな摂動ではなくなります。
この論文では、一部の層がニューロンの活性化を引き起こすために単一の光子のみを使用するという限界内で動作する光ニューラル ネットワークの設定でこの問題を研究します。
この限界内でのニューロンの活性化は、弱い光信号の単一光子検出の基本的に確率的な性質から生じる量子ノイズによって支配されます。
光検出の確率的挙動を直接モデル化するトレーニング手順を使用することで、非常に高いノイズ (SNR ~ 1) にもかかわらず、高精度で決定論的な画像分類タスクを実行するように確率的光ニューラル ネットワークをトレーニングできることを示します。
私たちは、単一光子領域で動作する隠れ層を備えた光ニューラル ネットワークを使用して、98% のテスト精度で MNIST 分類を実験的に実証しました。
分類の実行に使用される光エネルギーは、積和演算 (MAC) あたり 0.008 光子に相当します。これは、MAC あたり 0.003 アトジュールの光エネルギーに相当します。
私たちの実験では、90% を超える同じ精度を達成するために、これまでの最先端の低光エネルギー実証に比べて、推論あたり 40 倍を超える少ないフォトンを使用しました。
私たちの研究は、量子ノイズが支配的な限界内で動作するシステムを含む、いくつかの非常に確率的なアナログ システムでも、適切にトレーニングされていれば、高精度で分類タスクを決定論的に実行するニューラル ネットワークの層として使用できることを示しています。

要約(オリジナル)

Analog physical neural networks, which hold promise for improved energy efficiency and speed compared to digital electronic neural networks, are nevertheless typically operated in a relatively high-power regime so that the signal-to-noise ratio (SNR) is large (>10). What happens if an analog system is instead operated in an ultra-low-power regime, in which the behavior of the system becomes highly stochastic and the noise is no longer a small perturbation on the signal? In this paper, we study this question in the setting of optical neural networks operated in the limit where some layers use only a single photon to cause a neuron activation. Neuron activations in this limit are dominated by quantum noise from the fundamentally probabilistic nature of single-photon detection of weak optical signals. We show that it is possible to train stochastic optical neural networks to perform deterministic image-classification tasks with high accuracy in spite of the extremely high noise (SNR ~ 1) by using a training procedure that directly models the stochastic behavior of photodetection. We experimentally demonstrated MNIST classification with a test accuracy of 98% using an optical neural network with a hidden layer operating in the single-photon regime; the optical energy used to perform the classification corresponds to 0.008 photons per multiply-accumulate (MAC) operation, which is equivalent to 0.003 attojoules of optical energy per MAC. Our experiment used >40x fewer photons per inference than previous state-of-the-art low-optical-energy demonstrations, to achieve the same accuracy of >90%. Our work shows that some extremely stochastic analog systems, including those operating in the limit where quantum noise dominates, can nevertheless be used as layers in neural networks that deterministically perform classification tasks with high accuracy if they are appropriately trained.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google