Faster ISNet for Background Bias Mitigation on Deep Neural Networks

要約

画像の背景のバイアスや偽の相関はニューラル ネットワークに影響を与え、ショートカット学習 (クレバー ハンス効果) を引き起こし、実世界のデータへの一般化を妨げる可能性があります。
最近導入されたアーキテクチャである ISNet は、深層分類器に対する背景の影響を軽減するために、Layer-Wise Relevance Propagation (LRP、説明手法) ヒートマップの最適化を提案しました。
ただし、ISNet のトレーニング時間は、アプリケーション内のクラスの数に比例して増加します。
ここでは、トレーニング時間がこの数値に依存しないように再定式化されたアーキテクチャを提案します。
さらに、簡潔でモデルに依存しない LRP 実装を導入します。
私たちは、合成背景バイアスと胸部 X 線写真での COVID-19 検出を使用した提案されたアーキテクチャに挑戦します。このアプリケーションは一般的に背景バイアスを示します。
ネットワークは背景の注意や近道学習を妨げ、配布外のテスト データセット上の複数の最先端モデルを上回りました。
ISNet に比べてトレーニング速度が大幅に向上する可能性があることを示す、提案されたアーキテクチャは、元のモデルでは適切に処理できないアプリケーションの範囲に LRP 最適化を導入します。

要約(オリジナル)

Bias or spurious correlations in image backgrounds can impact neural networks, causing shortcut learning (Clever Hans Effect) and hampering generalization to real-world data. ISNet, a recently introduced architecture, proposed the optimization of Layer-Wise Relevance Propagation (LRP, an explanation technique) heatmaps, to mitigate the influence of backgrounds on deep classifiers. However, ISNet’s training time scales linearly with the number of classes in an application. Here, we propose reformulated architectures whose training time becomes independent from this number. Additionally, we introduce a concise and model-agnostic LRP implementation. We challenge the proposed architectures using synthetic background bias, and COVID-19 detection in chest X-rays, an application that commonly presents background bias. The networks hindered background attention and shortcut learning, surpassing multiple state-of-the-art models on out-of-distribution test datasets. Representing a potentially massive training speed improvement over ISNet, the proposed architectures introduce LRP optimization into a gamut of applications that the original model cannot feasibly handle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google