Technical Note: Defining and Quantifying AND-OR Interactions for Faithful and Concise Explanation of DNNs

要約

タイトル：DNNの忠実で簡潔な説明のためのAND-OR相互作用の定義と定量化についての技術的注記
要約：
– DNNの推論ロジックを反映する入力変数間の相互作用を定量化することによって、DNNを説明することを目的とする。
– 相互作用の定義を見直し、説明のための忠実さと簡潔さを形式的に定義する。
– AND相互作用とOR相互作用の2つの相互作用を提案する。
– 忠実さについて、AND（OR）相互作用は入力変数間のAND（OR）関係の効果を定量化するためにAND（OR）相互作用の一意性を証明する。
– AND-ORの相互作用に基づいて、説明の簡潔さを向上させる技術を提案する。
– この方法により、DNNの推論ロジックをシンボル的な概念のセットで忠実で簡潔に説明することができる。

要約(オリジナル)

In this technical note, we aim to explain a deep neural network (DNN) by quantifying the encoded interactions between input variables, which reflects the DNN’s inference logic. Specifically, we first rethink the definition of interactions, and then formally define faithfulness and conciseness for interaction-based explanation. To this end, we propose two kinds of interactions, i.e., the AND interaction and the OR interaction. For faithfulness, we prove the uniqueness of the AND (OR) interaction in quantifying the effect of the AND (OR) relationship between input variables. Besides, based on AND-OR interactions, we design techniques to boost the conciseness of the explanation, while not hurting the faithfulness. In this way, the inference logic of a DNN can be faithfully and concisely explained by a set of symbolic concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI