CIDR: A Cooperative Integrated Dynamic Refining Method for Minimal Feature Removal Problem

要約

事後説明領域の最小特徴除去問題は、最小特徴セット (MFS) を特定することを目的としています。
貪欲アルゴリズムを使用して最小の特徴セットを計算する以前の研究では、一般的なシナリオでは満たすことができない単調な仮定の下での特徴の相互作用の探索が不足しています。
上記の制限に対処するために、最小限の特徴セットを効率的に発見するための協調統合動的リファイニング手法 (CIDR) を提案します。
具体的には、特徴間の相互作用を検出するために協調統合勾配 (CIG) を設計します。
CIG と最小特徴セットの特性を組み込むことにより、最小特徴削除問題をナップザック問題に変換します。
さらに、多数の候補セットから最小特徴セットを決定するための補助最小特徴改良アルゴリズムを考案します。
私たちの知る限り、私たちの研究は、自然言語処理の分野における最小限の特徴削除の問題に初めて取り組んだものです。
広範な実験により、CIDR がさまざまなモデルやデータセットにわたって解釈可能性が向上し、代表的な最小特徴セットをトレースできることが実証されました。

要約(オリジナル)

The minimal feature removal problem in the post-hoc explanation area aims to identify the minimal feature set (MFS). Prior studies using the greedy algorithm to calculate the minimal feature set lack the exploration of feature interactions under a monotonic assumption which cannot be satisfied in general scenarios. In order to address the above limitations, we propose a Cooperative Integrated Dynamic Refining method (CIDR) to efficiently discover minimal feature sets. Specifically, we design Cooperative Integrated Gradients (CIG) to detect interactions between features. By incorporating CIG and characteristics of the minimal feature set, we transform the minimal feature removal problem into a knapsack problem. Additionally, we devise an auxiliary Minimal Feature Refinement algorithm to determine the minimal feature set from numerous candidate sets. To the best of our knowledge, our work is the first to address the minimal feature removal problem in the field of natural language processing. Extensive experiments demonstrate that CIDR is capable of tracing representative minimal feature sets with improved interpretability across various models and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google