Improving Domain-Invariance in Self-Supervised Learning via Batch Styles Standardization

要約

限られたラベル付きデータと豊富なラベルなしデータを使用した学習のための推奨戦略の 1 つとしての自己教師あり学習 (SSL) の最近の台頭により、これらのモデルが広く使用されるようになりました。
それらは通常、同じデータ分布 (つまり、分布内設定内) で事前トレーニングされ、微調整され、評価されます。
ただし、分散外の評価シナリオではパフォーマンスが低下する傾向があり、教師なしドメインの一般化 (UDG) が対処しようとしている課題です。
この論文では、画像のスタイルをバッチで標準化するための新しい方法を紹介します。
フーリエベースの拡張に依存するバッチ スタイルの標準化は、疑似相関が機能に漏れるのを防ぐことで、SSL のドメイン不変性を促進します。
バッチ スタイルの標準化とよく知られた対照ベースの方法 SimCLR の組み合わせにより、CLaSSy ($\textbf{C}$ontrastive $\textbf{L}$e$\textbf{a}$rning with
$\textbf{S}$標準化された $\textbf{S}$t$\textbf{y}$les)。
CLaSSy は、ドメイン ラベルに依存せず、多数のドメインを処理できるようにスケーラブルであるため、以前の方法に比べて大きな利点があります。
さまざまな UDG データセットでの実験結果は、既存の UDG メソッドと比較して CLaSSy の優れたパフォーマンスを示しています。
最後に、提案されたバッチ スタイルの標準化の汎用性は、異なるバックボーン アーキテクチャ (畳み込みベース、トランスフォーマー ベース) を考慮しながら、コントラスト ベースおよび非コントラスト ベースの SSL メソッド、SWaV および MSN をそれぞれ拡張することによって実証されます。

要約(オリジナル)

The recent rise of Self-Supervised Learning (SSL) as one of the preferred strategies for learning with limited labeled data, and abundant unlabeled data has led to the widespread use of these models. They are usually pretrained, finetuned, and evaluated on the same data distribution, i.e., within an in-distribution setting. However, they tend to perform poorly in out-of-distribution evaluation scenarios, a challenge that Unsupervised Domain Generalization (UDG) seeks to address. This paper introduces a novel method to standardize the styles of images in a batch. Batch styles standardization, relying on Fourier-based augmentations, promotes domain invariance in SSL by preventing spurious correlations from leaking into the features. The combination of batch styles standardization with the well-known contrastive-based method SimCLR leads to a novel UDG method named CLaSSy ($\textbf{C}$ontrastive $\textbf{L}$e$\textbf{a}$rning with $\textbf{S}$tandardized $\textbf{S}$t$\textbf{y}$les). CLaSSy offers serious advantages over prior methods, as it does not rely on domain labels and is scalable to handle a large number of domains. Experimental results on various UDG datasets demonstrate the superior performance of CLaSSy compared to existing UDG methods. Finally, the versatility of the proposed batch styles standardization is demonstrated by extending respectively the contrastive-based and non-contrastive-based SSL methods, SWaV and MSN, while considering different backbone architectures (convolutional-based, transformers-based).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google