iLOCO: Distribution-Free Inference for Feature Interactions

要約

特徴の重要性測定は広く研究されており、モデルの動作を理解し、機能の選択を導き、解釈可能性を高めるために不可欠です。
ただし、多くの機械学習フィットモデルには、機能間の複雑で高次の相互作用が含まれます。
既存の機能の重要性メトリックは、これらの高次効果をキャプチャすることができませんが、既存のインタラクションメトリックは、限られた適用性または過度の計算に苦しむことがよくあります。
特徴的な相互作用の統計的推論を実施する方法はありません。
このギャップを埋めるために、最初に、高次の特徴的な相互作用の重要性を測定するために、新しいモデルに依存しないメトリックである相互作用休暇1-コバリエーションアウトイロコを提案します。
次に、Loco推論の最近の進歩を活用して、ILOCOメトリックの分布フリーおよび仮定光信頼区間を開発します。
計算上の課題に対処するために、表示されるILOCOメトリックと信頼区間を計算するためのアンサンブル学習方法も紹介します。
Ilocoメトリックと合成データセットと実際のデータセットの両方での信頼区間を検証し、アプローチが既存の方法を上回り、特徴の相互作用を検出するための最初の推論アプローチを提供することを示します。

要約(オリジナル)

Feature importance measures are widely studied and are essential for understanding model behavior, guiding feature selection, and enhancing interpretability. However, many machine learning fitted models involve complex, higher-order interactions between features. Existing feature importance metrics fail to capture these higher-order effects while existing interaction metrics often suffer from limited applicability or excessive computation; no methods exist to conduct statistical inference for feature interactions. To bridge this gap, we first propose a new model-agnostic metric, interaction Leave-One-Covariate-Out iLOCO, for measuring the importance of higher-order feature interactions. Next, we leverage recent advances in LOCO inference to develop distribution-free and assumption-light confidence intervals for our iLOCO metric. To address computational challenges, we also introduce an ensemble learning method for calculating the iLOCO metric and confidence intervals that we show is both computationally and statistically efficient. We validate our iLOCO metric and our confidence intervals on both synthetic and real data sets, showing that our approach outperforms existing methods and provides the first inferential approach to detecting feature interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google