On the Improvement of Generalization and Stability of Forward-Only Learning via Neural Polarization

要約

順方向のみの学習アルゴリズムは、勾配バックプロパゲーションの代替として最近注目を集めており、後者のソルバーの後方向ステップを追加の対照的な順方向パスに置き換えます。
これらのアプローチの中で、いわゆるフォワードフォワード アルゴリズム (FFA) は、一般化と複雑さの点で競争力のあるレベルのパフォーマンスを達成することが示されています。
FFA を使用してトレーニングされたネットワークは、実際のデータ (正のサンプルとして示される) が提示された場合、レイヤーごとに定義された良好性スコアを対照的に最大化し、合成データ (負のサンプルと一致) を処理する場合にそれを最小化することを学習します。
ただし、このアルゴリズムには依然として、主に正のサンプルと負のサンプルの間の勾配の不均衡が原因で、モデルの精度とトレーニングの安定性に悪影響を与える弱点があります。
この問題を克服するために、この研究では、Polar-FFA と呼ばれる FFA アルゴリズムの新しい実装を提案します。これは、正のインスタンスと負のインスタンスの間に神経分割 (\emph{polarization}) を導入することで元の定式化を拡張します。
これらの各グループのニューロンは、それぞれのデータ型が与えられたときにその利点を最大化することを目的としており、それによって対称的な勾配動作を作成します。
私たちが提案する Polar-FFA の学習能力の向上を経験的に評価するために、画像分類データセットに対してさまざまな活性化関数と良性関数を使用していくつかの体系的な実験を実行します。
私たちの結果は、Polar-FFA が精度と収束速度の点で FFA よりも優れていることを示しています。
さらに、ハイパーパラメータへの依存度が低いため、最適な汎化機能を保証するためのハイパーパラメータ調整の必要性が減り、より広範囲のニューラル ネットワーク構成が可能になります。

要約(オリジナル)

Forward-only learning algorithms have recently gained attention as alternatives to gradient backpropagation, replacing the backward step of this latter solver with an additional contrastive forward pass. Among these approaches, the so-called Forward-Forward Algorithm (FFA) has been shown to achieve competitive levels of performance in terms of generalization and complexity. Networks trained using FFA learn to contrastively maximize a layer-wise defined goodness score when presented with real data (denoted as positive samples) and to minimize it when processing synthetic data (corr. negative samples). However, this algorithm still faces weaknesses that negatively affect the model accuracy and training stability, primarily due to a gradient imbalance between positive and negative samples. To overcome this issue, in this work we propose a novel implementation of the FFA algorithm, denoted as Polar-FFA, which extends the original formulation by introducing a neural division (\emph{polarization}) between positive and negative instances. Neurons in each of these groups aim to maximize their goodness when presented with their respective data type, thereby creating a symmetric gradient behavior. To empirically gauge the improved learning capabilities of our proposed Polar-FFA, we perform several systematic experiments using different activation and goodness functions over image classification datasets. Our results demonstrate that Polar-FFA outperforms FFA in terms of accuracy and convergence speed. Furthermore, its lower reliance on hyperparameters reduces the need for hyperparameter tuning to guarantee optimal generalization capabilities, thereby allowing for a broader range of neural network configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google