A Study of Forward-Forward Algorithm for Self-Supervised Learning

要約

自己教師あり表現学習はここ数年で目覚ましい進歩を遂げており、最近の手法の一部ではラベルなしで有用な画像表現を学習できるようになりました。
これらのメソッドは、事実上の標準であるバックプロパゲーションを使用してトレーニングされます。
最近、ジェフリー ヒントンは、代替トレーニング方法としてフォワードフォワード アルゴリズムを提案しました。
バックプロパゲーションを行わずにネットワークをトレーニングするために、2 つの順方向パスと各層の個別の損失関数を利用します。
この研究では、自己教師あり表現学習における前方伝播と逆伝播のパフォーマンスを初めて研究し、学習された表現空間についての洞察を提供します。
私たちのベンチマークでは、MNIST、F-MNIST、SVHN、CIFAR-10 という 4 つの標準データセットと、一般的に使用される 3 つの自己教師あり表現学習手法 (回転、反転、ジグソー) を採用しています。
私たちの主な発見は、フォワードフォワードアルゴリズムは（自己）教師ありトレーニング中はバックプロパゲーションと同等のパフォーマンスを発揮しますが、転送パフォーマンスは研究されたすべての設定で大幅に遅れていることです。
これは、各層の損失関数や、順方向パラダイムで教師ありトレーニングが実現される方法などの要因の組み合わせによって引き起こされる可能性があります。
バックプロパゲーションと比較して、順方向アルゴリズムは境界により重点を置き、表現学習の目標を損なう意思決定に不必要な情報の一部を削除します。
自己教師あり学習のフォワードフォワード戦略を安定させ、ジェフリー・ヒントンによって実証されたデータセットと構成を超えて機能するには、さらなる調査と研究が必要です。

要約(オリジナル)

Self-supervised representation learning has seen remarkable progress in the last few years, with some of the recent methods being able to learn useful image representations without labels. These methods are trained using backpropagation, the de facto standard. Recently, Geoffrey Hinton proposed the forward-forward algorithm as an alternative training method. It utilizes two forward passes and a separate loss function for each layer to train the network without backpropagation. In this study, for the first time, we study the performance of forward-forward vs. backpropagation for self-supervised representation learning and provide insights into the learned representation spaces. Our benchmark employs four standard datasets, namely MNIST, F-MNIST, SVHN and CIFAR-10, and three commonly used self-supervised representation learning techniques, namely rotation, flip and jigsaw. Our main finding is that while the forward-forward algorithm performs comparably to backpropagation during (self-)supervised training, the transfer performance is significantly lagging behind in all the studied settings. This may be caused by a combination of factors, including having a loss function for each layer and the way the supervised training is realized in the forward-forward paradigm. In comparison to backpropagation, the forward-forward algorithm focuses more on the boundaries and drops part of the information unnecessary for making decisions which harms the representation learning goal. Further investigation and research are necessary to stabilize the forward-forward strategy for self-supervised learning, to work beyond the datasets and configurations demonstrated by Geoffrey Hinton.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google