Verifiable Feature Attributions: A Bridge between Post Hoc Explainability and Inherent Interpretability

要約

現実世界のさまざまなアプリケーションで機械学習モデルの導入が増加するにつれ、研究者も実務家も同様にモデルの動作を説明する必要性を強調しています。
この目的を達成するために、モデルを説明するための 2 つの広範な戦略が先行文献で概説されています。
事後説明手法では、モデルの予測に重要な特徴を強調することで、複雑なブラックボックス モデルの動作を説明します。
しかし、これまでの研究では、これらの説明が忠実ではない可能性があることが示されており、さらに懸念されるのは、私たちがそれらを検証できないことです。
特に、特定の属性が基礎となるモデルに関して正しいかどうかを評価することは自明ではありません。
一方、本質的に解釈可能なモデルは、説明をモデル アーキテクチャに明示的にエンコードすることでこれらの問題を回避します。つまり、その説明は当然忠実で検証可能ですが、表現力が限られているため、予測パフォーマンスが劣ることがよくあります。
この研究では、ブラックボックス モデルを忠実で検証可能な特徴属性を自然に生み出すモデルに変換する手法である検証可能性チューニング (VerT) を提案することで、前述の戦略間のギャップを埋めることを目指しています。
まず、検証可能性を理解するために正式な理論的枠組みを導入し、標準モデルによって生成された属性は検証できないことを示します。
次に、このフレームワークを活用して、完全にトレーニングされたブラックボックス モデルから検証可能なモデルと特徴属性を構築する方法を提案します。
最後に、半合成データセットと現実世界のデータセットに対して広範な実験を行い、VerT が (1) 正しく検証可能な説明を生成し、(2) 本来のブラック ボックス モデルに忠実なモデルを生成することを示します。
説明。

要約(オリジナル)

With the increased deployment of machine learning models in various real-world applications, researchers and practitioners alike have emphasized the need for explanations of model behaviour. To this end, two broad strategies have been outlined in prior literature to explain models. Post hoc explanation methods explain the behaviour of complex black-box models by highlighting features that are critical to model predictions; however, prior work has shown that these explanations may not be faithful, and even more concerning is our inability to verify them. Specifically, it is nontrivial to evaluate if a given attribution is correct with respect to the underlying model. Inherently interpretable models, on the other hand, circumvent these issues by explicitly encoding explanations into model architecture, meaning their explanations are naturally faithful and verifiable, but they often exhibit poor predictive performance due to their limited expressive power. In this work, we aim to bridge the gap between the aforementioned strategies by proposing Verifiability Tuning (VerT), a method that transforms black-box models into models that naturally yield faithful and verifiable feature attributions. We begin by introducing a formal theoretical framework to understand verifiability and show that attributions produced by standard models cannot be verified. We then leverage this framework to propose a method to build verifiable models and feature attributions out of fully trained black-box models. Finally, we perform extensive experiments on semi-synthetic and real-world datasets, and show that VerT produces models that (1) yield explanations that are correct and verifiable and (2) are faithful to the original black-box models they are meant to explain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google