SpArX: Sparse Argumentative Explanations for Neural Networks

要約

ニューラル ネットワーク (NN) は AI にさまざまな応用例がありますが、その決定を説明するのは依然として困難です。
既存のアプローチは、多くの場合、個々の入力の変更が NN の出力にどのような影響を与えるかを説明することに重点を置いています。
しかし、NN の入出力動作と矛盾しない説明は、必ずしも実際の仕組みに忠実であるとは限りません。
この論文では、多層パーセプトロン (MLP) と定量的議論フレームワーク (QAF) の間の関係を利用して、MLP の仕組みについての議論的な説明を作成します。
私たちの SpArX メソッドは、元の構造をできる限り維持しながら、まず MLP をスパース化します。
次に、スパース MLP を同等の QAF に変換して、MLP の基礎となる意思決定プロセスに光を当て、グローバルおよび/またはローカルの説明を生成します。
私たちは、SpArX が既存のアプローチよりも忠実な説明を提供できると同時に、MLP の実際の推論プロセスについてより深い洞察を提供できることを実験的に実証します。

要約(オリジナル)

Neural networks (NNs) have various applications in AI, but explaining their decisions remains challenging. Existing approaches often focus on explaining how changing individual inputs affects NNs’ outputs. However, an explanation that is consistent with the input-output behaviour of an NN is not necessarily faithful to the actual mechanics thereof. In this paper, we exploit relationships between multi-layer perceptrons (MLPs) and quantitative argumentation frameworks (QAFs) to create argumentative explanations for the mechanics of MLPs. Our SpArX method first sparsifies the MLP while maintaining as much of the original structure as possible. It then translates the sparse MLP into an equivalent QAF to shed light on the underlying decision process of the MLP, producing global and/or local explanations. We demonstrate experimentally that SpArX can give more faithful explanations than existing approaches, while simultaneously providing deeper insights into the actual reasoning process of MLPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google