Scalable Forward-Forward Algorithm

要約

私たちは、各層を個別にトレーニングすることでバックプロパゲーションの必要性を排除する、スケーラブルな順方向 (FF) アルゴリズムを提案します。
バックプロパゲーションとは異なり、FF は逆方向勾配を回避し、よりモジュール化されメモリ効率が向上するため、大規模ネットワークにとって魅力的です。
畳み込み層の損失を計算する新しい方法を導入することで、FF を MobileNetV3 や ResNet18 などの最新の畳み込みアーキテクチャに拡張します。
実験では、私たちの方法が標準的な逆伝播と同等のパフォーマンスを達成することが示されています。
さらに、ネットワークを ResNet の残差ブロックなどのブロックに分割し、各ブロック内でのみバックプロパゲーションを適用し、ブロック間では適用しない場合、ハイブリッド設計は、同様のトレーニング速度を維持しながらバックプロパゲーションのベースラインを上回るパフォーマンスを発揮する傾向があります。
最後に、私たちの方法の適応性を確認する小さなデータセットと転移学習に関する実験を紹介します。

要約(オリジナル)

We propose a scalable Forward-Forward (FF) algorithm that eliminates the need for backpropagation by training each layer separately. Unlike backpropagation, FF avoids backward gradients and can be more modular and memory efficient, making it appealing for large networks. We extend FF to modern convolutional architectures, such as MobileNetV3 and ResNet18, by introducing a new way to compute losses for convolutional layers. Experiments show that our method achieves performance comparable to standard backpropagation. Furthermore, when we divide the network into blocks, such as the residual blocks in ResNet, and apply backpropagation only within each block, but not across blocks, our hybrid design tends to outperform backpropagation baselines while maintaining a similar training speed. Finally, we present experiments on small datasets and transfer learning that confirm the adaptability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google