Self-training superconducting neuromorphic circuits using reinforcement learning rules

要約

強化学習アルゴリズムは、ゲームからロボット工学、自動運転車に至るまで、幅広いアプリケーションで使用されています。
この論文では、一連の強化学習ベースの局所重み更新ルールと、超伝導ハードウェアでのそれらの実装について説明します。
SPICE 回路シミュレーションを使用して、学習時間 1 ナノ秒の小規模ニューラル ネットワークを実装します。
このネットワークは、ネットワークに対する外部調整を必要とせずに、特定の入力セットのターゲット出力を変更するだけで、新しい関数を学習するようにトレーニングできます。
この実装では、ネットワーク全体の応答の現在の状態と、以前のアクションについてローカルに保存された情報に基づいて重みが調整されます。
これにより、これらのネットワークで明示的な重み値をプログラムする必要がなくなります。これは、ニューラル ネットワークのアナログ ハードウェア実装が直面する主な課題の 1 つです。
重みの調整は、エラーを逆伝播する回路の必要性を排除するグローバル強化信号に基づいています。

要約(オリジナル)

Reinforcement learning algorithms are used in a wide range of applications, from gaming and robotics to autonomous vehicles. In this paper we describe a set of reinforcement learning-based local weight update rules and their implementation in superconducting hardware. Using SPICE circuit simulations, we implement a small-scale neural network with a learning time of order one nanosecond. This network can be trained to learn new functions simply by changing the target output for a given set of inputs, without the need for any external adjustments to the network. In this implementation the weights are adjusted based on the current state of the overall network response and locally stored information about the previous action. This removes the need to program explicit weight values in these networks, which is one of the primary challenges that analog hardware implementations of neural networks face. The adjustment of weights is based on a global reinforcement signal that obviates the need for circuitry to back-propagate errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google