Technical Note: Defining and Quantifying AND-OR Interactions for Faithful and Concise Explanation of DNNs

要約

このテクニカル ノートでは、DNN の推論ロジックを反映する、入力変数間のエンコードされた相互作用を定量化することで、ディープ ニューラル ネットワーク (DNN) を説明することを目的としています。
具体的には、まずインタラクションの定義を再考し、次にインタラクションに基づく説明の忠実性と簡潔性を正式に定義します。
この目的のために、我々は 2 種類の相互作用、すなわち AND 相互作用と OR 相互作用を提案します。
忠実性を高めるために、入力変数間の AND (OR) 関係の効果を定量化する際に、AND (OR) 相互作用の一意性を証明します。
さらに、AND-OR インタラクションに基づいて、忠実性を損なうことなく、説明の簡潔性を高める手法を設計します。
このように、DNN の推論ロジックは、一連の記号概念によって忠実かつ簡潔に説明できます。

要約(オリジナル)

In this technical note, we aim to explain a deep neural network (DNN) by quantifying the encoded interactions between input variables, which reflects the DNN’s inference logic. Specifically, we first rethink the definition of interactions, and then formally define faithfulness and conciseness for interaction-based explanation. To this end, we propose two kinds of interactions, i.e., the AND interaction and the OR interaction. For faithfulness, we prove the uniqueness of the AND (OR) interaction in quantifying the effect of the AND (OR) relationship between input variables. Besides, based on AND-OR interactions, we design techniques to boost the conciseness of the explanation, while not hurting the faithfulness. In this way, the inference logic of a DNN can be faithfully and concisely explained by a set of symbolic concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google