Training Convolutional Neural Networks with the Forward-Forward algorithm

要約

ディープ ニューラル ネットワークを使用した画像分析における最近の成功は、ほぼ独占的に畳み込みニューラル ネットワーク (CNN) を使用して達成されています。
これらの CNN のトレーニング、そして実際にはすべてのディープ ニューラル ネットワーク アーキテクチャのトレーニングでは、ネットワークの出力が望ましい結果と比較され、その差分が望ましい結果に向けてネットワークの重みを調整するために使用されるバックプロパゲーション アルゴリズムを使用します。
2022 年のプレプリントで、Geoffrey Hinton は、ネットワークの入力で画像とともに必要な結果を渡すトレーニングの代替方法を提案しました。
このいわゆる Forward Forward (FF) アルゴリズムは、これまで完全に接続されたネットワークでのみ使用されてきました。
この論文では、FF パラダイムを CNN に拡張する方法を示します。
新しい空間拡張ラベリング技術を特徴とする当社の FF トレーニング済み CNN は、MNIST 手書き数字データセットで 99.0% の分類精度を達成しています。
さまざまなハイパーパラメータが提案されたアルゴリズムのパフォーマンスにどのような影響を与えるかを示し、その結果を標準的な逆伝播アプローチで訓練された CNN と比較します。
さらに、クラス アクティベーション マップを使用して、FF アルゴリズムによってどのタイプの特徴が学習されるかを調査します。

要約(オリジナル)

The recent successes in analyzing images with deep neural networks are almost exclusively achieved with Convolutional Neural Networks (CNNs). The training of these CNNs, and in fact of all deep neural network architectures, uses the backpropagation algorithm where the output of the network is compared with the desired result and the difference is then used to tune the weights of the network towards the desired outcome. In a 2022 preprint, Geoffrey Hinton suggested an alternative way of training which passes the desired results together with the images at the input of the network. This so called Forward Forward (FF) algorithm has up to now only been used in fully connected networks. In this paper, we show how the FF paradigm can be extended to CNNs. Our FF-trained CNN, featuring a novel spatially-extended labeling technique, achieves a classification accuracy of 99.0% on the MNIST hand-written digits dataset. We show how different hyperparameters affect the performance of the proposed algorithm and compare the results with CNN trained with the standard backpropagation approach. Furthermore, we use Class Activation Maps to investigate which type of features are learnt by the FF algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google