KirchhoffNet: A Circuit Bridging Message Passing and Continuous-Depth Models

要約

この論文では、アナログ電子回路の基本原理であるキルヒホッフの電流法則を利用して、キルヒホッフネットと呼ばれる独自のクラスのニューラル ネットワーク モデルを導入します。
KirchhoffNet は、メッセージ パッシング ニューラル ネットワークおよび連続深度ネットワークとの密接な接続を確立します。
従来の層 (畳み込み層、プーリング層、線形層など) が存在しない場合でも、KirchhoffNet は MNIST データセット上で 98.86% のテスト精度を達成し、最先端 (SOTA) の結果に匹敵することを実証します。
KirchhoffNet がさらに興味深いのは、ハードウェアの領域における可能性です。
従来、現代のディープ ニューラル ネットワークは GPU 上に展開されていました。
対照的に、KirchhoffNet はアナログ電子回路によって物理的に実現できます。
さらに、KirchhoffNet 内のパラメータの数に関係なく、その順方向計算は常に 1/f 秒以内に完了できることを正当化します (f はハードウェアのクロック周波数を表します)。
この特性により、超大規模ニューラル ネットワークを実装するための有望な技術が導入されます。

要約(オリジナル)

In this paper, we exploit a fundamental principle of analog electronic circuitry, Kirchhoff’s current law, to introduce a unique class of neural network models that we refer to as KirchhoffNet. KirchhoffNet establishes close connections with message passing neural networks and continuous-depth networks. We demonstrate that even in the absence of any traditional layers (such as convolution, pooling, or linear layers), KirchhoffNet attains 98.86% test accuracy on the MNIST dataset, comparable with state of the art (SOTA) results. What makes KirchhoffNet more intriguing is its potential in the realm of hardware. Contemporary deep neural networks are conventionally deployed on GPUs. In contrast, KirchhoffNet can be physically realized by an analog electronic circuit. Moreover, we justify that irrespective of the number of parameters within a KirchhoffNet, its forward calculation can always be completed within 1/f seconds, with f representing the hardware’s clock frequency. This characteristic introduces a promising technology for implementing ultra-large-scale neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google