Can we Agree? On the Rashōmon Effect and the Reliability of Post-Hoc Explainable AI

要約

Rash\=omon 効果は、機械学習モデルから信頼できる知識を導き出す際に課題を引き起こします。
この研究では、SHAP を使用した Rash\=omon セットのモデルからの説明に対するサンプル サイズの影響を調べました。
5 つの公開データセットでの実験では、サンプル サイズが増加するにつれて説明が徐々に収束することが示されました。
128 未満のサンプルからの説明は大きなばらつきを示し、信頼できる知識の抽出が制限されました。
ただし、データが増えるにつれてモデル間の一致度が向上し、コンセンサスが得られるようになりました。
袋詰めアンサンブルは、多くの場合、より高い一致を示しました。
この結果は、説明を信頼するのに十分なデータに関する指針を提供します。
サンプル数が少ない場合のばらつきは、検証がなければ結論が信頼できない可能性があることを示唆しています。
より多くのモデル タイプ、データ ドメイン、説明方法についてはさらなる作業が必要です。
ニューラル ネットワークおよびモデル固有の説明手法を使用して収束をテストすると、効果が得られます。
ここで検討したアプローチは、曖昧なモデルから知識を引き出すための原則に基づいた手法を指します。

要約(オリジナル)

The Rash\=omon effect poses challenges for deriving reliable knowledge from machine learning models. This study examined the influence of sample size on explanations from models in a Rash\=omon set using SHAP. Experiments on 5 public datasets showed that explanations gradually converged as the sample size increased. Explanations from <128 samples exhibited high variability, limiting reliable knowledge extraction. However, agreement between models improved with more data, allowing for consensus. Bagging ensembles often had higher agreement. The results provide guidance on sufficient data to trust explanations. Variability at low samples suggests that conclusions may be unreliable without validation. Further work is needed with more model types, data domains, and explanation methods. Testing convergence in neural networks and with model-specific explanation methods would be impactful. The approaches explored here point towards principled techniques for eliciting knowledge from ambiguous models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google