Local Feature Selection without Label or Feature Leakage for Interpretable Machine Learning Predictions

要約

機械学習におけるローカル特徴選択は、各予測に最も関連性の高い特徴に焦点を当てることでインスタンス固有の説明を提供し、複雑なモデルの解釈可能性を高めます。
ただし、このような方法では、選択内容に追加情報がエンコードされるため、誤解を招く説明が生成される傾向があります。
この研究では、ラベルと特徴漏洩の概念を形式化することで、誤解を招く選択の問題を引き起こしたと考えています。
私たちは、漏れがないことを保証できる必要十分条件を厳密に導き出し、既存の方法がこれらの条件を満たしていないことを示します。
さらに、漏れがないことが証明された初の局所特徴選択手法であるSUWRを提案する。
私たちの実験結果は、SUWR が過学習の傾向が少なく、最先端の予測パフォーマンスと高い特徴選択のスパース性を兼ね備えていることを示しています。
私たちの一般的で簡単に拡張可能な形式的アプローチは、信頼できる説明とともに解釈可能性に関する将来の研究のための強力な理論的基盤を提供します。

要約(オリジナル)

Local feature selection in machine learning provides instance-specific explanations by focusing on the most relevant features for each prediction, enhancing the interpretability of complex models. However, such methods tend to produce misleading explanations by encoding additional information in their selections. In this work, we attribute the problem of misleading selections by formalizing the concepts of label and feature leakage. We rigorously derive the necessary and sufficient conditions under which we can guarantee no leakage, and show existing methods do not meet these conditions. Furthermore, we propose the first local feature selection method that is proven to have no leakage called SUWR. Our experimental results indicate that SUWR is less prone to overfitting and combines state-of-the-art predictive performance with high feature-selection sparsity. Our generic and easily extendable formal approach provides a strong theoretical basis for future work on interpretability with reliable explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google