When a Relation Tells More Than a Concept: Exploring and Evaluating Classifier Decisions with CoReX

要約

入力ピクセルの関連性に基づく畳み込みニューラル ネットワーク (CNN) の説明は、入力特徴のどれがどのようにモデルの決定に影響を与えるかを評価するには不特定すぎる可能性があります。
特に生物学のような複雑な現実世界の領域では、特定の概念の存在や概念間の関係がクラスを区別する可能性があります。
ピクセルの関連性は、この種の情報を伝えるのに十分な表現力を持ちません。
その結果、モデルの評価は制限され、データ内に存在し、モデルの決定に影響を与える関連する側面が見落とされる可能性があります。
この研究では、概念および関係ベースの説明子 (CoReX) を使用する、CNN モデルを説明および評価するための新しい方法を紹介します。
これは、意思決定プロセスから (無関係な) 概念をマスキングし、学習された解釈可能な代理モデル内の関係を制約することによって、一連の画像に対するモデルの予測動作を説明します。
いくつかの画像データセットと CNN アーキテクチャを使用してアプローチをテストします。
結果は、予測結果の点で CoReX の説明が CNN モデルに忠実であることを示しています。
さらに、人間による評価を通じて、CoReX が CNN の分類品質の評価に役立つ組み合わせ説明を生成するのに適したツールであることを実証します。
さらに、CoReX が不正確または曖昧な分類の識別と再分類をサポートしていることを示します。

要約(オリジナル)

Explanations for Convolutional Neural Networks (CNNs) based on relevance of input pixels might be too unspecific to evaluate which and how input features impact model decisions. Especially in complex real-world domains like biology, the presence of specific concepts and of relations between concepts might be discriminating between classes. Pixel relevance is not expressive enough to convey this type of information. In consequence, model evaluation is limited and relevant aspects present in the data and influencing the model decisions might be overlooked. This work presents a novel method to explain and evaluate CNN models, which uses a concept- and relation-based explainer (CoReX). It explains the predictive behavior of a model on a set of images by masking (ir-)relevant concepts from the decision-making process and by constraining relations in a learned interpretable surrogate model. We test our approach with several image data sets and CNN architectures. Results show that CoReX explanations are faithful to the CNN model in terms of predictive outcomes. We further demonstrate through a human evaluation that CoReX is a suitable tool for generating combined explanations that help assessing the classification quality of CNNs. We further show that CoReX supports the identification and re-classification of incorrect or ambiguous classifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google