Interpreting Deep Forest through Feature Contribution and MDI Feature Importance

要約

タイトル：Feature ContributionとMDI Feature ImportanceによるDeep Forestの解釈

要約：
– Deep forestは、多くの応用分野で印象的な経験的成功を収めている非微分の深層モデルである。その中でも、カテゴリカル/シンボリックまたは混合モデリングタスクでの成功が特に目立っている。
– 多くの応用分野では、予測ごとにローカルな説明を提供するFeature Contributionやグローバルな特徴の重要度を提供するMean Decrease Impurity（MDI）などの説明可能なモデルを好む。しかし、Deep forestはランダムフォレストのカスケードであり、第一層のみで解釈性を持つため、第二層以降では、前の層で生成された新しい特徴による木の分割が多数発生するため、既存のランダムフォレストの説明ツールは適用できない。
– 深い層で元の特徴の影響を明らかにするために、各層に対して推定ステップに続くキャリブレーションステップを備えた計算方法を設計し、Deep forestのFeature ContributionとMDI特徴の重要性の計算ツールを提案する。
– シミュレーションデータと実世界データの両方での実験結果で、提案手法の有効性が検証されている。

要約(オリジナル)

Deep forest is a non-differentiable deep model which has achieved impressive empirical success across a wide variety of applications, especially on categorical/symbolic or mixed modeling tasks. Many of the application fields prefer explainable models, such as random forests with feature contributions that can provide local explanation for each prediction, and Mean Decrease Impurity (MDI) that can provide global feature importance. However, deep forest, as a cascade of random forests, possesses interpretability only at the first layer. From the second layer on, many of the tree splits occur on the new features generated by the previous layer, which makes existing explanatory tools for random forests inapplicable. To disclose the impact of the original features in the deep layers, we design a calculation method with an estimation step followed by a calibration step for each layer, and propose our feature contribution and MDI feature importance calculation tools for deep forest. Experimental results on both simulated data and real world data verify the effectiveness of our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI