Encouraging Intra-Class Diversity Through a Reverse Contrastive Loss for Better Single-Source Domain Generalization

要約

従来の深層学習アルゴリズムは、トレーニング データのドメイン外でテストされると、一般化に失敗することがよくあります。
この問題は、トレーニング時にターゲット ドメインからのラベル付けされていないデータを使用することで軽減できますが、学習済みモデルがデプロイされると、実際のアプリケーションではデータ分布が動的に変化する可能性があるため、未知の予期しないドメイン シフトに対して堅牢なネットワークを作成することが重要です。
このホワイト ペーパーでは、ニューラル ネットワークがそうできない理由の 1 つに焦点を当てます。ディープ ネットワークは、予測を行うための最も明白で偽の可能性がある手がかりのみに焦点を当て、有用ではあるがわずかに効率が悪いか、より複雑なパターンを認識しません。
.
この動作は特定されており、いくつかの方法で問題に部分的に対処しています。
それらの有効性と限界を調査するために、まず公開されている MNIST ベースのベンチマークを設計して、「隠れた」パターンを見つけるアルゴリズムの能力を正確に測定します。
次に、ベンチマークを通じて最先端のアルゴリズムを評価し、問題がほとんど解決されていないことを示します。
最後に、クラス内の多様性を促進し、相関があまり強くないパターンを見つけるために、部分的に逆のコントラスト損失を提案します。その効率は、実験によって実証されています。

要約(オリジナル)

Traditional deep learning algorithms often fail to generalize when they are tested outside of the domain of the training data. The issue can be mitigated by using unlabeled data from the target domain at training time, but because data distributions can change dynamically in real-life applications once a learned model is deployed, it is critical to create networks robust to unknown and unforeseen domain shifts. In this paper we focus on one of the reasons behind the inability of neural networks to be so: deep networks focus only on the most obvious, potentially spurious, clues to make their predictions and are blind to useful but slightly less efficient or more complex patterns. This behaviour has been identified and several methods partially addressed the issue. To investigate their effectiveness and limits, we first design a publicly available MNIST-based benchmark to precisely measure the ability of an algorithm to find the ”hidden” patterns. Then, we evaluate state-of-the-art algorithms through our benchmark and show that the issue is largely unsolved. Finally, we propose a partially reversed contrastive loss to encourage intra-class diversity and find less strongly correlated patterns, whose efficiency is demonstrated by our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google