Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning

要約

ニューラル ネットワークで広く使用されているにもかかわらず、誤差バックプロパゲーションは、後方ロック問題や重み輸送問題などの問題に悩まされ、生物学的妥当性に欠けているという批判にさらされてきました。
これらの制限により、研究者は、生物学的な神経システムがどのように適応して学習するかを潜在的に明らかにする可能性のある、より生物学的に妥当な学習アルゴリズムを探求するようになりました。
生物学的システムで観察される逆流交換メカニズムにヒントを得て、ニューラル ネットワークにおける単位割り当てのための生物学的に妥当なフレームワークである向流学習 (CCL) を提案します。
このフレームワークは、入力データを処理するためにフィードフォワード ネットワークを採用し、ターゲットを処理するためにフィードバック ネットワークを採用しており、各ネットワークは逆並列信号伝播を通じて他のネットワークを強化します。
フィードバック ネットワークの最下層からのより有益な信号を利用してフィードフォワード ネットワークの最上層の更新をガイドしたり、その逆を行うことにより、CCL はソース入力からターゲット出力への同時変換と、これらの変換の動的な相互影響を可能にします。
多層パーセプトロンと畳み込みニューラル ネットワークを使用した MNIST、FashionMNIST、CIFAR10、および CIFAR100 データセットの実験結果は、CCL が生物学的により現実的な学習メカニズムを提供しながら、他の生物学的に妥当なアルゴリズムと同等のパフォーマンスを達成することを実証しています。
さらに、オートエンコーダタスクへのアプローチの適用可能性を示し、教師なし表現学習の可能性を強調します。
私たちの研究は、生物学にインスピレーションを得たもっともらしい学習アルゴリズムの方向性を示し、ニューラル ネットワークにおける学習と適応の代替メカニズムを提供します。

要約(オリジナル)

Despite its widespread use in neural networks, error backpropagation has faced criticism for its lack of biological plausibility, suffering from issues such as the backward locking problem and the weight transport problem. These limitations have motivated researchers to explore more biologically plausible learning algorithms that could potentially shed light on how biological neural systems adapt and learn. Inspired by the counter-current exchange mechanisms observed in biological systems, we propose counter-current learning (CCL), a biologically plausible framework for credit assignment in neural networks. This framework employs a feedforward network to process input data and a feedback network to process targets, with each network enhancing the other through anti-parallel signal propagation. By leveraging the more informative signals from the bottom layer of the feedback network to guide the updates of the top layer of the feedforward network and vice versa, CCL enables the simultaneous transformation of source inputs to target outputs and the dynamic mutual influence of these transformations. Experimental results on MNIST, FashionMNIST, CIFAR10, and CIFAR100 datasets using multi-layer perceptrons and convolutional neural networks demonstrate that CCL achieves comparable performance to other biologically plausible algorithms while offering a more biologically realistic learning mechanism. Furthermore, we showcase the applicability of our approach to an autoencoder task, underscoring its potential for unsupervised representation learning. Our work presents a direction for biologically inspired and plausible learning algorithms, offering an alternative mechanism of learning and adaptation in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google