Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning

要約

近年登場した予期せぬ手法の 1 つは、自己教師あり学習 (SSL) 手法を使用してディープ ネットワーク (DN) をトレーニングし、このネットワークを下流のタスクで使用しますが、最後のいくつかのプロジェクター層は完全に削除されています。
プロジェクターを捨てるこのトリックは、SSL メソッドが ImageNet 上で競争力のあるパフォーマンスを表示するために実際に重要であり、この方法で 30 パーセント以上のポイントを獲得できます。
これは少し厄介です。トレーニング中に SSL 基準によって不変性が明示的に強制されるネットワーク層 (最後のプロジェクター層) が、下流で最高の汎化パフォーマンスを得るために使用されるべきであると期待されているからです。
しかし、そうではないようで、この研究はその理由を明らかにするものです。
ギロチン正則化 (GR) と名付けたこのトリックは、実際には、転移学習シナリオで汎化パフォーマンスを向上させるために使用されてきた、一般的に適用可能な手法です。
この研究では、その成功の背後にある根本的な理由を特定し、使用する最適なレイヤーがトレーニング設定、データ、または下流タスクに応じて大幅に変わる可能性があることを示します。
最後に、プレテキスト SSL タスクとダウンストリーム タスクを調整することで、SSL でのプロジェクターの必要性を減らす方法についていくつかの洞察を示します。

要約(オリジナル)

One unexpected technique that emerged in recent years consists in training a Deep Network (DN) with a Self-Supervised Learning (SSL) method, and using this network on downstream tasks but with its last few projector layers entirely removed. This trick of throwing away the projector is actually critical for SSL methods to display competitive performances on ImageNet for which more than 30 percentage points can be gained that way. This is a little vexing, as one would hope that the network layer at which invariance is explicitly enforced by the SSL criterion during training (the last projector layer) should be the one to use for best generalization performance downstream. But it seems not to be, and this study sheds some light on why. This trick, which we name Guillotine Regularization (GR), is in fact a generically applicable method that has been used to improve generalization performance in transfer learning scenarios. In this work, we identify the underlying reasons behind its success and show that the optimal layer to use might change significantly depending on the training setup, the data or the downstream task. Lastly, we give some insights on how to reduce the need for a projector in SSL by aligning the pretext SSL task and the downstream task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google