Conditional Feature Importance for Mixed Data

要約

タイトル：異種データに対する条件付き特徴重要度
要約：
– 特徴重要度（FI）は解釈可能な機械学習で人気があるが、その方法の統計的妥当性はほとんど議論されていない。
– 統計的な観点から、変数の重要度を調べる場合には、共変量の調整前後に大きな差がある（つまり、マージナルと条件付きの測定値の間）。
– この重要な区別について、ほとんど言及されていないが、重要な区別であることを示し、その影響を示している。
– さらに、条件付きFIをテストするために、利用可能な方法はほんの数少なく、現在までの実践者は、データ要件の不一致により、方法の適用に厳しく制限されてきたと明らかにしている。
– 多くの実世界のデータは、複雑な特徴量の依存関係を示し、連続的なデータとカテゴリカルなデータ（異種データ）の両方を組み合わせている。これらの特性は、条件付きFI測定法においてしばしば無視される。
– このギャップを埋めるために、我々は条件付き予測的な影響（CPI）フレームワークを同じ特性を持つ合成データをサンプリングすることで依存関係を調整する条件付きFI測定法と組み合わせることを提案する。異種データに対応できるように設計された順次ノックオフサンプリングを使用し、CPIアプローチをこのデータセットに拡張することができる。
– 多数のシミュレーションと実世界の例を通じて、提案されたワークフローで、条件I型エラーを制御し、高いパワーを実現し、他の条件付きFI測定法によって得られる結果と一致していることを示す。マージナルFIメトリックは誤った解釈を引き起こすことがある。
– 混合データに対して統計的に適切な専門的な方法を開発する必要性があることを示している。

要約(オリジナル)

Despite the popularity of feature importance (FI) measures in interpretable machine learning, the statistical adequacy of these methods is rarely discussed. From a statistical perspective, a major distinction is between analyzing a variable’s importance before and after adjusting for covariates – i.e., between $\textit{marginal}$ and $\textit{conditional}$ measures. Our work draws attention to this rarely acknowledged, yet crucial distinction and showcases its implications. Further, we reveal that for testing conditional FI, only few methods are available and practitioners have hitherto been severely restricted in method application due to mismatching data requirements. Most real-world data exhibits complex feature dependencies and incorporates both continuous and categorical data (mixed data). Both properties are oftentimes neglected by conditional FI measures. To fill this gap, we propose to combine the conditional predictive impact (CPI) framework with sequential knockoff sampling. The CPI enables conditional FI measurement that controls for any feature dependencies by sampling valid knockoffs – hence, generating synthetic data with similar statistical properties – for the data to be analyzed. Sequential knockoffs were deliberately designed to handle mixed data and thus allow us to extend the CPI approach to such datasets. We demonstrate through numerous simulations and a real-world example that our proposed workflow controls type I error, achieves high power and is in line with results given by other conditional FI measures, whereas marginal FI metrics result in misleading interpretations. Our findings highlight the necessity of developing statistically adequate, specialized methods for mixed data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI