KirchhoffNet: A Scalable Ultra Fast Analog Neural Network

要約

本稿では、アナログ電子回路の基本原理であるキルヒホッフの電流・電圧法則を活用して、キルヒホッフネットと呼ばれる特徴的なニューラルネットワークモデルを紹介する。基本的に、キルヒホッフ・ネットはニューラルネットワークとして機能するアナログ回路であり、初期ノード電圧をニューラルネットワークの入力として、特定の時点におけるノード電圧を出力として利用する。指定された時間内のノード電圧の進化は、ノード間を結ぶエッジ上の学習可能なパラメータによって指示される。我々は、KirchhoffNetが常微分方程式（ODE）の集合によって支配されることを実証し、特に、（畳み込み層などの）伝統的な層がない場合でも、多様で複雑な機械学習タスクにおいて最先端の性能を達成することを示す。最も重要なことは、キルヒホッフ・ネットは低消費電力のアナログ集積回路として実装できる可能性があることで、キルヒホッフ・ネット内のパラメータ数に関係なく、オンチップでの前方計算が常に短時間で完了するという魅力的な特性がある。この特性により、キルヒホッフ・ネットは大規模なニューラルネットワークを実装するための有望かつ基本的なパラダイムとなり、AIのためのアナログ・ニューラル・ネットワークの新たな道を開くことになる。

要約(オリジナル)

In this paper, we leverage a foundational principle of analog electronic circuitry, Kirchhoff’s current and voltage laws, to introduce a distinctive class of neural network models termed KirchhoffNet. Essentially, KirchhoffNet is an analog circuit that can function as a neural network, utilizing its initial node voltages as the neural network input and the node voltages at a specific time point as the output. The evolution of node voltages within the specified time is dictated by learnable parameters on the edges connecting nodes. We demonstrate that KirchhoffNet is governed by a set of ordinary differential equations (ODEs), and notably, even in the absence of traditional layers (such as convolution layers), it attains state-of-the-art performances across diverse and complex machine learning tasks. Most importantly, KirchhoffNet can be potentially implemented as a low-power analog integrated circuit, leading to an appealing property — irrespective of the number of parameters within a KirchhoffNet, its on-chip forward calculation can always be completed within a short time. This characteristic makes KirchhoffNet a promising and fundamental paradigm for implementing large-scale neural networks, opening a new avenue in analog neural networks for AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL