Asymmetric feature interaction for interpreting model predictions

要約

自然言語処理（NLP）において、ディープニューラルネットワーク（DNN）は文脈間の複雑な相互作用をモデル化することができ、様々なNLPタスクにおいて印象的な結果を達成してきた。特徴的な相互作用の帰属に関する先行研究は、主に、組み合わせられた単語セットの追加的な影響力を説明するだけの対称的な相互作用の研究に焦点を当てており、モデル予測に貢献する非対称的な影響力を捉えることができない。本研究では、深層ニューラルNLPモデルの推論において、非対称な高次特徴相互作用を探索することを目的とした非対称特徴相互作用帰属説明モデルを提案します。我々の説明を有向グラフで表現することで、非対称な特徴相互作用を発見するためのグラフの解釈可能性を実験的に実証する。2つの感情分類データセットでの実験結果は、モデル予測に影響する特徴を特定する上で、最先端の特徴相互作用帰属法に対する我々のモデルの優位性を示している。我々のコードは https://github.com/StillLu/ASIV で公開されている。

要約(オリジナル)

In natural language processing (NLP), deep neural networks (DNNs) could model complex interactions between context and have achieved impressive results on a range of NLP tasks. Prior works on feature interaction attribution mainly focus on studying symmetric interaction that only explains the additional influence of a set of words in combination, which fails to capture asymmetric influence that contributes to model prediction. In this work, we propose an asymmetric feature interaction attribution explanation model that aims to explore asymmetric higher-order feature interactions in the inference of deep neural NLP models. By representing our explanation with an directed interaction graph, we experimentally demonstrate interpretability of the graph to discover asymmetric feature interactions. Experimental results on two sentiment classification datasets show the superiority of our model against the state-of-the-art feature interaction attribution methods in identifying influential features for model predictions. Our code is available at https://github.com/StillLu/ASIV.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL