LAP: An Attention-Based Module for Faithful Interpretation and Knowledge Injection in Convolutional Neural Networks

要約

深い畳み込みニューラル ネットワークの最先端のパフォーマンスにもかかわらず、目に見えない状況でのバイアスや誤動作の影響を受けやすくなっています。
彼らの推論の背後にある複雑な計算は、信頼を築くのに十分なほど人間が理解できるものではありません。
外部の説明者の方法は、人間が理解できる方法でネットワークの決定を解釈しようとしましたが、それらの仮定と単純化のために誤りであると非難されています.
一方、モデル固有の自己解釈可能性は、前述の誤謬に対してより堅牢ですが、既にトレーニングされたモデルには適用できません。
この作業では、ローカル アテンション プーリング (LAP) と呼ばれる新しいアテンション ベースのプーリング レイヤーを提案します。これは、モデルのパフォーマンスを向上させながら、自己解釈可能性と知識注入の可能性を実現します。
さらに、トレーニングのプロセスを強化するために、いくつかの弱い教師付き知識注入方法論が提供されています。
Imagenet を含む 3 つの異なるデータセットでいくつかの LAP 拡張モデルを評価することで、私たちの主張を検証しました。
提案されたフレームワークは、一般的に使用されるホワイトボックスの説明メソッドよりも、より有効で人間が理解でき、モデルに忠実な解釈を提供します。

要約(オリジナル)

Despite the state-of-the-art performance of deep convolutional neural networks, they are susceptible to bias and malfunction in unseen situations. The complex computation behind their reasoning is not sufficiently human-understandable to develop trust. External explainer methods have tried to interpret the network decisions in a human-understandable way, but they are accused of fallacies due to their assumptions and simplifications. On the other side, the inherent self-interpretability of models, while being more robust to the mentioned fallacies, cannot be applied to the already trained models. In this work, we propose a new attention-based pooling layer, called Local Attention Pooling (LAP), that accomplishes self-interpretability and the possibility for knowledge injection while improving the model’s performance. Moreover, several weakly-supervised knowledge injection methodologies are provided to enhance the process of training. We verified our claims by evaluating several LAP-extended models on three different datasets, including Imagenet. The proposed framework offers more valid human-understandable and more faithful-to-the-model interpretations than the commonly used white-box explainer methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google