Model-agnostic variable importance for predictive uncertainty: an entropy-based approach

要約

機械学習アルゴリズムの予測を信頼するには、それらの予測に寄与する要因を理解する必要があります。
確率的で不確実性を認識したモデルの場合、予測自体の理由だけでなく、それらの予測に対するモデルの信頼レベルも理解する必要があります。
この論文では、説明可能性における既存の手法を不確実性を意識したモデルに拡張する方法と、そのような拡張を使用してモデルの予測分布の不確実性の原因を理解する方法を示します。
特に、順列特徴量の重要度、部分依存プロット、および個別の条件付き期待値プロットを適応させることにより、モデルの動作に対する新しい洞察が得られる可能性があり、これらの方法を使用して、予測エントロピーと予測エントロピーの両方に対する特徴量の影響を測定できることを示します。
分布と、その分布に基づくグラウンド トゥルース ラベルの対数尤度。
合成データと現実世界のデータの両方を使用した実験により、不確実性の原因とそれがモデルのパフォーマンスに及ぼす影響の両方を理解する上でのこれらのアプローチの有用性を実証します。

要約(オリジナル)

In order to trust the predictions of a machine learning algorithm, it is necessary to understand the factors that contribute to those predictions. In the case of probabilistic and uncertainty-aware models, it is necessary to understand not only the reasons for the predictions themselves, but also the model’s level of confidence in those predictions. In this paper, we show how existing methods in explainability can be extended to uncertainty-aware models and how such extensions can be used to understand the sources of uncertainty in a model’s predictive distribution. In particular, by adapting permutation feature importance, partial dependence plots, and individual conditional expectation plots, we demonstrate that novel insights into model behaviour may be obtained and that these methods can be used to measure the impact of features on both the entropy of the predictive distribution and the log-likelihood of the ground truth labels under that distribution. With experiments using both synthetic and real-world data, we demonstrate the utility of these approaches in understanding both the sources of uncertainty and their impact on model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google