Affine transformation estimation improves visual self-supervised learning

要約

最新の自己教師あり学習への標準的なアプローチは、データ拡張を通じてランダムなビューを生成し、これらのビューの表現から計算される損失を最小限に抑えることです。
これは本質的に、データ拡張機能を構成する変換の不変性を促進します。
この研究では、アフィン変換を予測する表現を制約するモジュールを追加すると、学習プロセスのパフォーマンスと効率が向上することを示します。
このモジュールは基本の自己教師ありモデルに依存せず、入力画像に適用されるアフィン変換を予測するエンコーダ表現の集約を促進する追加の損失項の形で現れます。
私たちはさまざまな最新の自己教師ありモデルで実験を実行し、すべてのケースでパフォーマンスの向上が見られました。
さらに、アフィン変換のコンポーネントのアブレーション スタディを実行して、パフォーマンスに最も影響を与えているコンポーネントと、主要なアーキテクチャ設計上の決定を理解します。

要約(オリジナル)

The standard approach to modern self-supervised learning is to generate random views through data augmentations and minimise a loss computed from the representations of these views. This inherently encourages invariance to the transformations that comprise the data augmentation function. In this work, we show that adding a module to constrain the representations to be predictive of an affine transformation improves the performance and efficiency of the learning process. The module is agnostic to the base self-supervised model and manifests in the form of an additional loss term that encourages an aggregation of the encoder representations to be predictive of an affine transformation applied to the input images. We perform experiments in various modern self-supervised models and see a performance improvement in all cases. Further, we perform an ablation study on the components of the affine transformation to understand which of them is affecting performance the most, as well as on key architectural design decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google