A Protocol for Continual Explanation of SHAP

要約

継続学習では、以前の知識を忘れることなく新しい情報を学習することを目的として、データ ストリームでモデルをトレーニングします。
このような環境の動的な性質を考慮すると、これらのモデルの予測を説明するのは困難な場合があります。
我々は、継続学習におけるSHAP値の説明の挙動を研究し、クラス増分シナリオにおける説明の変化を堅牢に評価するための評価プロトコルを提案します。
リプレイ戦略はフィードフォワード/畳み込みモデルでは SHAP 値の安定性を強制しますが、完全にトレーニングされたリカレント モデルでは同じことができないことがわかりました。
私たちは、ランダム化されたリカレント モデルのような代替のリカレント アプローチが、時間の経過とともに説明を安定させるのにより効果的であることを示します。

要約(オリジナル)

Continual Learning trains models on a stream of data, with the aim of learning new information without forgetting previous knowledge. Given the dynamic nature of such environments, explaining the predictions of these models can be challenging. We study the behavior of SHAP values explanations in Continual Learning and propose an evaluation protocol to robustly assess the change of explanations in Class-Incremental scenarios. We observed that, while Replay strategies enforce the stability of SHAP values in feedforward/convolutional models, they are not able to do the same with fully-trained recurrent models. We show that alternative recurrent approaches, like randomized recurrent models, are more effective in keeping the explanations stable over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google