Targeted Activation Penalties Help CNNs Ignore Spurious Signals

要約

ニューラル ネットワーク (NN) は、トレーニング データ内の偽の信号に依存することを学習し、一般化が不十分になる可能性があります。
最近の方法では、このような信号の追加のグラウンドトゥルース注釈を使用して NN をトレーニングすることで、この問題に取り組んでいます。
ただし、これらの方法では、深い畳み込み NN (CNN) でスプリアス信号が再出現する可能性があります。
私たちは、ターゲット アクティベーション ペナルティ (TAP) を提案します。これは、トレーニング時間とメモリ使用量を削減しながら、ディープ CNN でのスプリアス信号の再出現を制御するためにアクティベーションにペナルティを課すことで、同じ問題に取り組む新しい方法です。
さらに、グラウンドトゥルースのアノテーションを取得するには費用がかかる場合があります。
私たちは、TAP が、グラウンド トゥルース アノテーションの効果的な代替品として、事前トレーニングされたモデルによって生成されたアノテーションと依然としてうまく機能することを示します。
4 つの異なる CNN アーキテクチャを使用して、MNIST ベンチマーク上の 2 つの最先端のベースラインと 2 つの臨床画像データセットに対する TAP の威力を実証します。

要約(オリジナル)

Neural networks (NNs) can learn to rely on spurious signals in the training data, leading to poor generalisation. Recent methods tackle this problem by training NNs with additional ground-truth annotations of such signals. These methods may, however, let spurious signals re-emerge in deep convolutional NNs (CNNs). We propose Targeted Activation Penalty (TAP), a new method tackling the same problem by penalising activations to control the re-emergence of spurious signals in deep CNNs, while also lowering training times and memory usage. In addition, ground-truth annotations can be expensive to obtain. We show that TAP still works well with annotations generated by pre-trained models as effective substitutes of ground-truth annotations. We demonstrate the power of TAP against two state-of-the-art baselines on the MNIST benchmark and on two clinical image datasets, using four different CNN architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google