Self-Contrastive Forward-Forward Algorithm

要約

自律的に動作するエージェントは、生涯学習能力の恩恵を受けます。
ただし、互換性のあるトレーニングアルゴリズムは、これらのシステムの分散化された性質に準拠する必要があり、パラメーターカウントと計算リソースの両方に制約を課します。
フォワードフォワード（FF）アルゴリズムはこれらの1つです。
FFは、レイヤーごとの目標を最適化するために、推論に使用されるフィードフォワード操作のみに依存しています。
この純粋に前進するアプローチは、従来のバックプロパゲーションに必要な転置操作の必要性を排除します。
その可能性にもかかわらず、FFは、監視されていない学習のための信頼性の低い否定的なデータ生成方法のために、ほとんどの標準ベンチマークタスクで最先端のパフォーマンスに到達することができませんでした。
この作業では、このパフォーマンスのギャップを埋めることを目的とした競争力のあるトレーニング方法である自己制御の前向き（SCFF）アルゴリズムを提案します。
SCFFは、視覚タスクの標準的な自己監視対照学習に触発され、さまざまなデータセットに適用される正とネガティブの入力を生成します。
この方法は、MNIST、CIFAR-10、STL-10、およびTiny Imagenetを含むいくつかのベンチマークデータセットで、既存の監視されていないローカル学習アルゴリズムと比較して優れた性能を示しています。
FFのアプリケーションを再発性ニューラルネットワークのトレーニングに拡張し、そのユーティリティをシーケンシャルデータタスクに拡大します。
これらの調査結果は、リソースに制約のあるエッジデバイスでの高精度のリアルタイム学習への道を開きます。

要約(オリジナル)

Agents that operate autonomously benefit from lifelong learning capabilities. However, compatible training algorithms must comply with the decentralized nature of these systems, which imposes constraints on both the parameter counts and the computational resources. The Forward-Forward (FF) algorithm is one of these. FF relies only on feedforward operations, the same used for inference, for optimizing layer-wise objectives. This purely forward approach eliminates the need for transpose operations required in traditional backpropagation. Despite its potential, FF has failed to reach state-of-the-art performance on most standard benchmark tasks, in part due to unreliable negative data generation methods for unsupervised learning. In this work, we propose the Self-Contrastive Forward-Forward (SCFF) algorithm, a competitive training method aimed at closing this performance gap. Inspired by standard self-supervised contrastive learning for vision tasks, SCFF generates positive and negative inputs applicable across various datasets. The method demonstrates superior performance compared to existing unsupervised local learning algorithms on several benchmark datasets, including MNIST, CIFAR-10, STL-10, and Tiny ImageNet. We extend FF’s application to training recurrent neural networks, expanding its utility to sequential data tasks. These findings pave the way for high-accuracy, real-time learning on resource-constrained edge devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google