Towards domain-invariant Self-Supervised Learning with Batch Styles Standardization

要約

自己教師あり学習 (SSL) では、通常、モデルは同じドメイン上で事前トレーニング、微調整、評価されます。
ただし、目に見えないドメインで評価するとパフォーマンスが低下する傾向があり、教師なしドメイン一般化 (UDG) がこの課題に対処しようとしています。
現在の UDG 手法は、多くの場合収集が困難なドメイン ラベルと、多数のドメインに直面した場合にスケーラビリティに欠けるドメイン固有のアーキテクチャに依存しているため、現在の手法は非現実的で硬直的になっています。
同じドメインの例との比較を制限することで偽の相関を軽減する対照ベースの UDG 手法にヒントを得て、バッチ内のスタイルのばらつきを排除することで、ドメイン ラベルを必要とせずに偽の相関を削減する、より便利で柔軟な方法が提供される可能性があると仮説を立てています。
この仮説を検証するために、バッチ スタイル標準化 (BSS) を導入します。これは、UDG に取り組むための SSL メソッドとの統合用に特別に設計されたバッチ内の画像のスタイルを標準化する、比較的シンプルでありながら強力なフーリエ ベースのメソッドです。
BSS と既存の SSL 方式を組み合わせると、以前の UDG 方式に比べて重大な利点が得られます。(1) SSL 表現におけるドメイン不変性を強化するためのドメイン ラベルやドメイン固有のネットワーク コンポーネントの必要性がなくなり、(2) BSS をシームレスに使用できるため柔軟性が得られます。
さまざまな対比ベースだけでなく非対比ベースの SSL メソッドとも統合されています。
いくつかの UDG データセットでの実験では、目に見えないドメインでの下流タスクのパフォーマンスが大幅に向上し、多くの場合 UDG 手法を上回るか競合することが実証されました。
最後に、この研究は、SSL 表現におけるドメイン不変性と目に見えないドメインでのパフォーマンスの向上における BSS の有効性に寄与する基礎となるメカニズムを明らかにします。

要約(オリジナル)

In Self-Supervised Learning (SSL), models are typically pretrained, fine-tuned, and evaluated on the same domains. However, they tend to perform poorly when evaluated on unseen domains, a challenge that Unsupervised Domain Generalization (UDG) seeks to address. Current UDG methods rely on domain labels, which are often challenging to collect, and domain-specific architectures that lack scalability when confronted with numerous domains, making the current methodology impractical and rigid. Inspired by contrastive-based UDG methods that mitigate spurious correlations by restricting comparisons to examples from the same domain, we hypothesize that eliminating style variability within a batch could provide a more convenient and flexible way to reduce spurious correlations without requiring domain labels. To verify this hypothesis, we introduce Batch Styles Standardization (BSS), a relatively simple yet powerful Fourier-based method to standardize the style of images in a batch specifically designed for integration with SSL methods to tackle UDG. Combining BSS with existing SSL methods offers serious advantages over prior UDG methods: (1) It eliminates the need for domain labels or domain-specific network components to enhance domain-invariance in SSL representations, and (2) offers flexibility as BSS can be seamlessly integrated with diverse contrastive-based but also non-contrastive-based SSL methods. Experiments on several UDG datasets demonstrate that it significantly improves downstream task performances on unseen domains, often outperforming or rivaling with UDG methods. Finally, this work clarifies the underlying mechanisms contributing to BSS’s effectiveness in improving domain-invariance in SSL representations and performances on unseen domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google