A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks

要約

いわゆるフォワードフォワード アルゴリズム (FFA) は、ニューラル ネットワーク学習用の従来の逆伝播アルゴリズムの代替として最近勢いを増しており、さまざまなモデリング タスクにわたって競争力のあるパフォーマンスをもたらします。
勾配バックプロパゲーションの逆方向パスを 2 つの対照的な順方向パスに置き換えることにより、FFA は層ごとのトレーニング ヒューリスティックを有効にすることで、前任者が経験したいくつかの欠点 (勾配の消失/爆発など) を回避します。
分類タスクでは、この対照的な方法が入力データの潜在的なスパース表現を効果的に作成し、最終的に識別可能性を高めることが証明されています。
ただし、FFA は、正のデータと負のデータの間で損失関数が不均衡であるため、固有の非対称な勾配動作を示し、モデルの一般化機能に悪影響を及ぼし、精度の低下を引き起こします。
この問題に対処するために、この研究では、各層を正と負のニューロンに分割する元の FFA の新しい修正である対称前方前方アルゴリズム (SFFA) を提案します。
これにより、ローカル フィットネス関数をポジティブ ニューロンの活性化と層全体のアクティビティの間の比率として定義できるようになり、トレーニング フェーズ中に対称的な損失状況が得られます。
私たちの手法の収束性の向上を評価するために、複数の画像分類ベンチマークを使用していくつかの実験を実施し、SFFA でトレーニングされたモデルの精度を、対応する FFA でトレーニングされたモデルの精度と比較しました。
この再定式化の副産物として、継続学習 (CL) タスクに層ごとのトレーニング アルゴリズムを使用する利点を調査します。
レイヤーごとのトレーニング アルゴリズムによって引き起こされるニューロンの特殊化とその活性化のまばらさにより、以前の内容の致命的な忘れを防ぎながら、新しい知識 (クラス) をニューラル ネットワークに組み込む効率的な CL 戦略が可能になります。

要約(オリジナル)

The so-called Forward-Forward Algorithm (FFA) has recently gained momentum as an alternative to the conventional back-propagation algorithm for neural network learning, yielding competitive performance across various modeling tasks. By replacing the backward pass of gradient back-propagation with two contrastive forward passes, the FFA avoids several shortcomings undergone by its predecessor (e.g., vanishing/exploding gradient) by enabling layer-wise training heuristics. In classification tasks, this contrastive method has been proven to effectively create a latent sparse representation of the input data, ultimately favoring discriminability. However, FFA exhibits an inherent asymmetric gradient behavior due to an imbalanced loss function between positive and negative data, adversely impacting on the model’s generalization capabilities and leading to an accuracy degradation. To address this issue, this work proposes the Symmetric Forward-Forward Algorithm (SFFA), a novel modification of the original FFA which partitions each layer into positive and negative neurons. This allows the local fitness function to be defined as the ratio between the activation of positive neurons and the overall layer activity, resulting in a symmetric loss landscape during the training phase. To evaluate the enhanced convergence of our method, we conduct several experiments using multiple image classification benchmarks, comparing the accuracy of models trained with SFFA to those trained with its FFA counterpart. As a byproduct of this reformulation, we explore the advantages of using a layer-wise training algorithm for Continual Learning (CL) tasks. The specialization of neurons and the sparsity of their activations induced by layer-wise training algorithms enable efficient CL strategies that incorporate new knowledge (classes) into the neural network, while preventing catastrophic forgetting of previously…

arxiv情報

提供元, 利用サービス

arxiv.jp, Google