Overcoming Shortcut Learning in a Target Domain by Generalizing Basic Visual Factors from a Source Domain

要約

ショートカット学習は、ディープニューラルネットワークがダウンストリームタスクを解決するためにトレーニングデータセットの疑似相関に過度に依存している場合に発生します。
以前の研究では、これが深層学習モデルの構成的一般化機能をどのように損なうかが示されています。
この問題に対処するために、制御されていないターゲットドメインでのショートカット学習を軽減するための新しいアプローチを提案します。
私たちのアプローチは、基本的な視覚的要因の独立した表現の学習を容易にするために特別に設計された追加のデータセット（ソースドメイン）でトレーニングセットを拡張します。
ショートカットの機会と実際のターゲットドメインを明示的に制御する合成ターゲットドメインでアイデアをベンチマークします。
さらに、ソースドメインとネットワークアーキテクチャのさまざまな仕様が構成の一般化に与える影響を分析します。
私たちの主な発見は、ソースドメインからのデータを活用することが、ショートカット学習を軽減する効果的な方法であるということです。
学習された表現の変動のさまざまな要因にわたる独立性を促進することにより、ネットワークは、予測要因のみを考慮し、推論中に潜在的なショートカット要因を無視することを学習できます。

要約(オリジナル)

Shortcut learning occurs when a deep neural network overly relies on spurious correlations in the training dataset in order to solve downstream tasks. Prior works have shown how this impairs the compositional generalization capability of deep learning models. To address this problem, we propose a novel approach to mitigate shortcut learning in uncontrolled target domains. Our approach extends the training set with an additional dataset (the source domain), which is specifically designed to facilitate learning independent representations of basic visual factors. We benchmark our idea on synthetic target domains where we explicitly control shortcut opportunities as well as real-world target domains. Furthermore, we analyze the effect of different specifications of the source domain and the network architecture on compositional generalization. Our main finding is that leveraging data from a source domain is an effective way to mitigate shortcut learning. By promoting independence across different factors of variation in the learned representations, networks can learn to consider only predictive factors and ignore potential shortcut factors during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google