On the Pros and Cons of Momentum Encoder in Self-Supervised Visual Representation Learning

要約

Exponential Moving Average (EMAまたはモメンタム)は、MoCoのような最新の自己教師あり学習(SSL)アプローチにおいて、性能向上のために広く利用されている。我々は、このようなモメンタムを、SimCLRのようなモメンタムフリーのSSLフレームワークにプラグインすることで、性能を向上させることができることを実証している。モメンタムは最新のSSLフレームワークの基本コンポーネントとして広く使われているにもかかわらず、モメンタムによってもたらされる利点はよく理解されていません。我々は、その成功は少なくとも部分的に安定性効果に起因することを発見しました。最初の試みとして、EMAがエンコーダの各部分にどのような影響を与えるかを分析し、エンコーダの入力に近い部分は重要な役割を果たさず、後者の部分がより大きな影響力を持つことを明らかにしました。エンコーダの各ブロックの出力に対する全体の損失の勾配を監視することで、バックプロパゲーション中に最終層が他の層よりも大きく変動する傾向があること、つまり、安定性が低いことを確認しました。興味深いことに、我々はSSLエンコーダの最終部分、すなわちプロジェクタにEMAを用いることで、ディープネットワークエンコーダ全体ではなく、同等もしくはより好ましい性能を得ることができることを示しました。私たちが提案するプロジェクタのみのモメンタムは、EMAの利点を維持しつつ、二重の前方計算を回避するのに役立ちます。

要約(オリジナル)

Exponential Moving Average (EMA or momentum) is widely used in modern self-supervised learning (SSL) approaches, such as MoCo, for enhancing performance. We demonstrate that such momentum can also be plugged into momentum-free SSL frameworks, such as SimCLR, for a performance boost. Despite its wide use as a fundamental component in modern SSL frameworks, the benefit caused by momentum is not well understood. We find that its success can be at least partly attributed to the stability effect. In the first attempt, we analyze how EMA affects each part of the encoder and reveal that the portion near the encoder’s input plays an insignificant role while the latter parts have much more influence. By monitoring the gradient of the overall loss with respect to the output of each block in the encoder, we observe that the final layers tend to fluctuate much more than other layers during backpropagation, i.e. less stability. Interestingly, we show that using EMA to the final part of the SSL encoder, i.e. projector, instead of the whole deep network encoder can give comparable or preferable performance. Our proposed projector-only momentum helps maintain the benefit of EMA but avoids the double forward computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL