Explanation Shift: How Did the Distribution Shift Impact the Model?

要約

入力データの分布が進化するにつれて、機械学習モデルの予測パフォーマンスは低下する傾向があります。
実際には、新しい入力データにはターゲット ラベルが付けられていないことがよくあります。
次に、最先端の技術で入力データの分布または予測分布をモデル化し、学習されたモデルと変化する分布の間の相互作用に関する問題を理解しようとします。
分布の変化の影響を受けたときに説明特性がどのように変化するかをモデル化する新しいアプローチを提案します。
私たちは、説明シフトのモデリングが、分布外のモデルの動作を検出するための最先端の手法よりも優れた指標となる可能性があることを発見しました。
合成例と現実世界のデータセットを使用して、さまざまなタイプの分布シフトを分析します。
データセットの特徴と学習されたモデルの間の相互作用を検査し、それらを最先端のモデルと比較できるアルゴリズム手法を提供します。
私たちは、オープンソースの Python パッケージでメソッドと、実験を再現するために使用したコードをリリースします。

要約(オリジナル)

As input data distributions evolve, the predictive performance of machine learning models tends to deteriorate. In practice, new input data tend to come without target labels. Then, state-of-the-art techniques model input data distributions or model prediction distributions and try to understand issues regarding the interactions between learned models and shifting distributions. We suggest a novel approach that models how explanation characteristics shift when affected by distribution shifts. We find that the modeling of explanation shifts can be a better indicator for detecting out-of-distribution model behaviour than state-of-the-art techniques. We analyze different types of distribution shifts using synthetic examples and real-world data sets. We provide an algorithmic method that allows us to inspect the interaction between data set features and learned models and compare them to the state-of-the-art. We release our methods in an open-source Python package, as well as the code used to reproduce our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google