LAP: An Attention-Based Module for Faithful Interpretation and Knowledge Injection in Convolutional Neural Networks

要約

深層畳み込みニューラルネットワークは、最先端の性能を持つにもかかわらず、未知の状況下では偏りや誤動作を起こしやすい。その推論の背後にある複雑な計算は、信頼を育むために十分に人間が理解できるものではありません。外部説明手法は、ネットワークの決定を人間が理解できるように解釈しようとしたが、その仮定と単純化により誤謬と非難される。一方、モデル本来の自己解釈性は、前述の誤謬に対してより頑健である反面、既に学習されたモデルには適用することができない。本研究では、モデルの性能を向上させながら、自己解釈性と知識注入の可能性を達成する、局所注意プーリング（LAP）と呼ばれる新しい注意に基づくプーリング層を提案する。さらに、学習過程を強化するために、いくつかの弱教師付き知識注入の方法論を提供する。我々は、Imagenetを含む3つの異なるデータセットにおいて、いくつかのLAP拡張モデルを評価することにより、我々の主張を検証した。提案するフレームワークは、一般的に用いられるホワイトボックス型説明手法よりも、より有効な人間理解可能で、よりモデルに忠実な解釈を提供する。

要約(オリジナル)

Despite the state-of-the-art performance of deep convolutional neural networks, they are susceptible to bias and malfunction in unseen situations. The complex computation behind their reasoning is not sufficiently human-understandable to develop trust. External explainer methods have tried to interpret the network decisions in a human-understandable way, but they are accused of fallacies due to their assumptions and simplifications. On the other side, the inherent self-interpretability of models, while being more robust to the mentioned fallacies, cannot be applied to the already trained models. In this work, we propose a new attention-based pooling layer, called Local Attention Pooling (LAP), that accomplishes self-interpretability and the possibility for knowledge injection while improving the model’s performance. Moreover, several weakly-supervised knowledge injection methodologies are provided to enhance the process of training. We verified our claims by evaluating several LAP-extended models on three different datasets, including Imagenet. The proposed framework offers more valid human-understandable and more faithful-to-the-model interpretations than the commonly used white-box explainer methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL