Variable Importance in High-Dimensional Settings Requires Grouping

要約

現在、機械学習アルゴリズムの決定プロセスを説明することは、モデルのパフォーマンス向上と人間の理解の両方にとって非常に重要です。
これは、大容量の非線形メソッドの場合でも、単一変数の可変重要性を評価することで実現できます。
ディープ ニューラル ネットワーク (DNN)。
Permutation Importance (PI) などの除去ベースのアプローチのみが統計的妥当性をもたらすことができますが、変数が相関している場合には誤解を招く結果が返されます。
このような場合、Conditional Permutation Importance (CPI) は PI の制限を回避します。
ただし、高次元の設定では、変数間の相関が高く、条件付きの重要性が無効になるため、CPI や他の方法を使用すると、法外な計算コストがかかるだけでなく、信頼性の低い結果が得られます。
クラスタリングや事前知識を介して統計的に変数をグループ化すると、ある程度の力が戻り、より良い解釈が得られます。
この研究では、単一ケースとグループケースの両方を処理する統計的保証を備えた変数重要度計算のための新しい汎用フレームワークである BCPI (Block-Based Conditional Permutation Importance) を紹介します。
さらに、カーディナリティの高いグループ (特定のモダリティの一連の観察など) の処理には時間がかかり、リソースも大量に消費されるため、グループに適応したサブリニア レイヤーを使用して DNN アーキテクチャを拡張する新しいスタッキング アプローチも導入します。
構造。
スタッキングを使用して拡張された後続のアプローチは、相関性の高いグループであってもタイプ I エラーを制御し、ベンチマーク全体で最高の精度を示すことを示します。
さらに、大規模な医療データセットで現実世界のデータ分析を実行し、結果とバイオマーカー予測の文献との一貫性を示すことを目指しています。

要約(オリジナル)

Explaining the decision process of machine learning algorithms is nowadays crucial for both model’s performance enhancement and human comprehension. This can be achieved by assessing the variable importance of single variables, even for high-capacity non-linear methods, e.g. Deep Neural Networks (DNNs). While only removal-based approaches, such as Permutation Importance (PI), can bring statistical validity, they return misleading results when variables are correlated. Conditional Permutation Importance (CPI) bypasses PI’s limitations in such cases. However, in high-dimensional settings, where high correlations between the variables cancel their conditional importance, the use of CPI as well as other methods leads to unreliable results, besides prohibitive computation costs. Grouping variables statistically via clustering or some prior knowledge gains some power back and leads to better interpretations. In this work, we introduce BCPI (Block-Based Conditional Permutation Importance), a new generic framework for variable importance computation with statistical guarantees handling both single and group cases. Furthermore, as handling groups with high cardinality (such as a set of observations of a given modality) are both time-consuming and resource-intensive, we also introduce a new stacking approach extending the DNN architecture with sub-linear layers adapted to the group structure. We show that the ensuing approach extended with stacking controls the type-I error even with highly-correlated groups and shows top accuracy across benchmarks. Furthermore, we perform a real-world data analysis in a large-scale medical dataset where we aim to show the consistency between our results and the literature for a biomarker prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google