The Forward-Forward Algorithm: Characterizing Training Behavior

要約

フォワードフォワードアルゴリズムは、Backpropagationが採用しているフォワードとバックワードパスではなく、2つのフォワードパスで構成される代替学習方法です。
フォワードフォワードネットワークは、単一のグローバルな目的関数ではなく、各フォワードパスのレイヤーアクティベーションに基づいて最適化されたレイヤーローカル損失関数を採用しています。
この作業では、内部行動の機械的理解を追求するためにトレーニングが進むにつれて、モデルと層の精度の変化のダイナミクスが将来順方向のネットワークにおけるダイナミクスを探ります。
さまざまなシステム特性への処理が適用され、トレーニングが進むにつれて層と全体的なモデルの精度の変化、層の深さによる精度の影響、および個々の層の精度が全体的なモデルの精度とどの程度強く相関しているかを調査します。
提示された経験的結果は、層の層がより深い層に深く深く、より浅い層と比較して精度の改善が遅れ、より浅い層の精度が全体的なモデルの精度と強く相関していることを示唆しています。

要約(オリジナル)

The Forward-Forward algorithm is an alternative learning method which consists of two forward passes rather than a forward and backward pass employed by backpropagation. Forward-Forward networks employ layer local loss functions which are optimized based on the layer activation for each forward pass rather than a single global objective function. This work explores the dynamics of model and layer accuracy changes in Forward-Forward networks as training progresses in pursuit of a mechanistic understanding of their internal behavior. Treatments to various system characteristics are applied to investigate changes in layer and overall model accuracy as training progresses, how accuracy is impacted by layer depth, and how strongly individual layer accuracy is correlated with overall model accuracy. The empirical results presented suggest that layers deeper within Forward-Forward networks experience a delay in accuracy improvement relative to shallower layers and that shallower layer accuracy is strongly correlated with overall model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google