Look Beyond Bias with Entropic Adversarial Data Augmentation

要約

ディープ ニューラル ネットワークは、偽のパターンと因果関係のパターンを区別せず、最も予測性の高いパターンのみを学習し、他のパターンは無視します。
この近道学習動作は、偽の相関がもはや保持されない未知のテスト時間分布に一般化するネットワークの能力にとって有害で​​す。
バイアス緩和方法は、ネットワークをそのような偽のバイアスに対して堅牢にするために開発されましたが、データセットがバイアスされているかどうかを事前に知り、クラスの多数派バイアスを表示しない少数派の反例を多用する必要があります。
この論文では、「隠された」因果情報が偏った画像にも含まれていることが多いため、そのようなサンプルは必ずしも必要ではないと主張します。
このアイデアを研究するために、3 つの公開された合成分類ベンチマークを提案します。これらは、反例として機能する少数サンプルなしで、それぞれ異なる困難な性質の予測分類ショートカットを示します。
まず、ベンチマークに対するいくつかの最先端の戦略の有効性を調査し、それらが満足のいく結果をもたらさないことを示します。
次に、エントロピーの敵対的データ拡張トレーニング スキームを使用して、その異常な特性にもかかわらず、ベンチマークで成功できるアーキテクチャを提案します。
エンコーダー/デコーダー アーキテクチャは、その出力の条件付きエントロピーを最大化することにより、分類器によって認識されない画像を生成し、初期コンテンツを可能な限り保持するように割り当てられています。
もつれを解くプロセスを介して破壊された情報を正確に制御することで、ショートカットを削除し、他のすべてをそのままにしておくことができます。
さらに、BAR データセットの最新技術と競合する結果により、実際の状況での方法の適用性が保証されます。

要約(オリジナル)

Deep neural networks do not discriminate between spurious and causal patterns, and will only learn the most predictive ones while ignoring the others. This shortcut learning behaviour is detrimental to a network’s ability to generalize to an unknown test-time distribution in which the spurious correlations do not hold anymore. Debiasing methods were developed to make networks robust to such spurious biases but require to know in advance if a dataset is biased and make heavy use of minority counterexamples that do not display the majority bias of their class. In this paper, we argue that such samples should not be necessarily needed because the ”hidden” causal information is often also contained in biased images. To study this idea, we propose 3 publicly released synthetic classification benchmarks, exhibiting predictive classification shortcuts, each of a different and challenging nature, without any minority samples acting as counterexamples. First, we investigate the effectiveness of several state-of-the-art strategies on our benchmarks and show that they do not yield satisfying results on them. Then, we propose an architecture able to succeed on our benchmarks, despite their unusual properties, using an entropic adversarial data augmentation training scheme. An encoder-decoder architecture is tasked to produce images that are not recognized by a classifier, by maximizing the conditional entropy of its outputs, and keep as much as possible of the initial content. A precise control of the information destroyed, via a disentangling process, enables us to remove the shortcut and leave everything else intact. Furthermore, results competitive with the state-of-the-art on the BAR dataset ensure the applicability of our method in real-life situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google