Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance

要約

説明可能性は、ますます複雑化するブラックボックス モデルの望ましい特性ですが、現代の説明方法は一貫性がなく、矛盾していることが示されています。
説明の意味論は必ずしも完全に理解されているわけではありません。説明はどの程度まで決定を「説明」し、どの程度まで決定を擁護するだけなのでしょうか?
人間が正しい予測を伴う説明から洞察を得ることができ、説明によって提唱される誤った予測に過度に依存しないようにできるでしょうか?
この観点を念頭に置いて、私たちは反対の説明、つまり矛盾する予測と付随する説明の概念を導入します。
まず、同様のパフォーマンスを持つ複数のモデルが異なる予測を持つ可能性があるモデルの多重度の設定において、反対意見の説明の利点を探ります。
このような場合、反対の説明を提供することは、反対のモデルの説明を呼び出​​すことによって行うことができます。
パイロット研究を通じて、反対意見の説明は全体的な精度を低下させることなく、モデル予測への過度の依存を減らすことを実証しました。
反対意見の説明の有用性を動機として、私たちは彼らを生成するためのグローバルな方法とローカルな方法の両方を紹介します。

要約(オリジナル)

While explainability is a desirable characteristic of increasingly complex black-box models, modern explanation methods have been shown to be inconsistent and contradictory. The semantics of explanations is not always fully understood – to what extent do explanations ‘explain’ a decision and to what extent do they merely advocate for a decision? Can we help humans gain insights from explanations accompanying correct predictions and not over-rely on incorrect predictions advocated for by explanations? With this perspective in mind, we introduce the notion of dissenting explanations: conflicting predictions with accompanying explanations. We first explore the advantage of dissenting explanations in the setting of model multiplicity, where multiple models with similar performance may have different predictions. In such cases, providing dissenting explanations could be done by invoking the explanations of disagreeing models. Through a pilot study, we demonstrate that dissenting explanations reduce overreliance on model predictions, without reducing overall accuracy. Motivated by the utility of dissenting explanations we present both global and local methods for their generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google