A Notion of Feature Importance by Decorrelation and Detection of Trends by Random Forest Regression

要約

多くの研究では、従属変数に対する特定の機能の影響を判断したいと考えています。
より具体的には、影響力の強さに関心があります。つまり、機能に関連性があるかどうかです。
— もしそうなら、特徴が従属変数にどのように影響するか。
最近では、\emph{ランダム フォレスト回帰} などのデータ駆動型のアプローチが応用されています (Boulesteix et al., 2012)。
これらのモデルは、影響の強さの自然な指標である機能の重要性の測定値を直接導き出すことを可能にします。
関連する機能については、通常、影響の性質を判断するために、機能と従属変数の間の相関または順位相関が使用されてきました。
最近の方法では、フィーチャ間の相互作用も測定できるものもあり、モデリング アプローチに基づいています。
特に、機械学習モデルが使用される場合、SHAP スコアは、これらの傾向を判断するための最近の著名な方法です (Lundberg et al., 2017)。
この論文では、十分に研究されたグラム-シュミット非相関法に基づいた特徴の重要性の新しい概念を紹介します。
さらに、ランダムフォレスト回帰を使用してデータの傾向を特定するための2つの推定量、いわゆる絶対および相対横断率を提案します。
さまざまな合成および実世界のデータセットで、推定量の特性を確立された推定量の特性と経験的に比較します。

要約(オリジナル)

In many studies, we want to determine the influence of certain features on a dependent variable. More specifically, we are interested in the strength of the influence — i.e., is the feature relevant? — and, if so, how the feature influences the dependent variable. Recently, data-driven approaches such as \emph{random forest regression} have found their way into applications (Boulesteix et al., 2012). These models allow to directly derive measures of feature importance, which are a natural indicator of the strength of the influence. For the relevant features, the correlation or rank correlation between the feature and the dependent variable has typically been used to determine the nature of the influence. More recent methods, some of which can also measure interactions between features, are based on a modeling approach. In particular, when machine learning models are used, SHAP scores are a recent and prominent method to determine these trends (Lundberg et al., 2017). In this paper, we introduce a novel notion of feature importance based on the well-studied Gram-Schmidt decorrelation method. Furthermore, we propose two estimators for identifying trends in the data using random forest regression, the so-called absolute and relative transversal rate. We empirically compare the properties of our estimators with those of well-established estimators on a variety of synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google