Increasing Interpretability of Neural Networks By Approximating Human Visual Saliency

要約

モデルが画像内のどこに焦点を当てているかを具体的に理解することは、意思決定プロセスを人間が解釈できるようにするために重要です。
深層学習ベースのソリューションは、トレーニング データセットで偶然の相関関係を学習する傾向があり、過剰適合が発生して説明可能性が低下します。
最近の進歩により、個々の画像内で人間が定義した顕著な領域にモデルを誘導すると、パフォーマンスと解釈可能性が大幅に向上することがわかりました。
また、人間によるガイド付きモデルは、データセットの特徴の偶然の一致が回避されるため、より優れた一般化機能も発揮します。
結果は、顕著性を組み込んでトレーニングしたモデルは、顕著性情報なしでトレーニングしたモデルと比較して解釈可能性が最大 30% 向上することを示しています。
ただし、この顕著性情報の収集には費用と労力がかかり、場合によっては実行不可能です。
この制限に対処するために、人間の顕著性による解釈可能性とパフォーマンスの向上を維持しながら、必要な人間の注釈データを 80% 削減する、顕著性の組み込みとアクティブ ラーニングの組み合わせ戦略を提案します。
広範な実験により、5 つの公開データセットと 6 つのアクティブ ラーニング基準にわたって、提案されたアプローチの有効性が概説されています。

要約(オリジナル)

Understanding specifically where a model focuses on within an image is critical for human interpretability of the decision-making process. Deep learning-based solutions are prone to learning coincidental correlations in training datasets, causing over-fitting and reducing the explainability. Recent advances have shown that guiding models to human-defined regions of saliency within individual images significantly increases performance and interpretability. Human-guided models also exhibit greater generalization capabilities, as coincidental dataset features are avoided. Results show that models trained with saliency incorporation display an increase in interpretability of up to 30% over models trained without saliency information. The collection of this saliency information, however, can be costly, laborious and in some cases infeasible. To address this limitation, we propose a combination strategy of saliency incorporation and active learning to reduce the human annotation data required by 80% while maintaining the interpretability and performance increase from human saliency. Extensive experimentation outlines the effectiveness of the proposed approach across five public datasets and six active learning criteria.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google