EquiMod: An Equivariance Module to Improve Self-Supervised Learning

要約

自己教師ありの視覚表現手法により、教師あり学習のパフォーマンスとの差が縮まりつつあります。
これらの方法は、データ拡張を通じて作成された関連する合成入力の埋め込み間の類似性を最大化することに依存しています。
これは、埋め込みがこれらの拡張によって変更された要素を除外すること、つまりそれらに対して不変であることを奨励するタスクとみなすことができます。
ただし、これは拡張の選択におけるトレードオフの一方の側面のみを考慮しています。つまり、単純なソリューションのショートカット学習 (例: カラー ヒストグラムのみの使用) を避けるために画像を大幅に変更する必要がありますが、その一方で、拡張に関連する情報は
一部の下流タスクの表現が欠けている可能性があります (例: 色は鳥や花の分類に重要です)。
最近の研究では、拡張に対する何らかの形式の等変性を探索することによって、不変性タスクのみを使用する問題を軽減することを提案したものはほとんどありません。
これは、追加の埋め込み空間を学習することによって実行されており、一部の拡張により、制御されていない方法で埋め込みが異なるようになります。
この研究では、私たちのモジュールが拡張によって引き起こされる埋め込み空間内の変位を予測することを学習するという意味で、学習された潜在空間を構造化する汎用等分散モジュールである EquiMod を導入します。
このモジュールを SimCLR や BYOL などの最先端の不変性モデルに適用すると、CIFAR10 および ImageNet データセットのパフォーマンスが向上することを示します。
さらに、私たちのモデルは自明な等分散、つまり不変に崩壊する可能性がありますが、代わりに、表現にとって有益な拡張関連の情報を維持するように自動的に学習することがわかります。

要約(オリジナル)

Self-supervised visual representation methods are closing the gap with supervised learning performance. These methods rely on maximizing the similarity between embeddings of related synthetic inputs created through data augmentations. This can be seen as a task that encourages embeddings to leave out factors modified by these augmentations, i.e. to be invariant to them. However, this only considers one side of the trade-off in the choice of the augmentations: they need to strongly modify the images to avoid simple solution shortcut learning (e.g. using only color histograms), but on the other hand, augmentations-related information may be lacking in the representations for some downstream tasks (e.g. color is important for birds and flower classification). Few recent works proposed to mitigate the problem of using only an invariance task by exploring some form of equivariance to augmentations. This has been performed by learning additional embeddings space(s), where some augmentation(s) cause embeddings to differ, yet in a non-controlled way. In this work, we introduce EquiMod a generic equivariance module that structures the learned latent space, in the sense that our module learns to predict the displacement in the embedding space caused by the augmentations. We show that applying that module to state-of-the-art invariance models, such as SimCLR and BYOL, increases the performances on CIFAR10 and ImageNet datasets. Moreover, while our model could collapse to a trivial equivariance, i.e. invariance, we observe that it instead automatically learns to keep some augmentations-related information beneficial to the representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google