Enhanced Local Explainability and Trust Scores with Random Forest Proximities

要約

私たちは、任意の RF が適応加重 K 最近傍モデルとして数学的に定式化できるという事実を利用して、ランダム フォレスト (RF) 回帰および分類モデルの予測とサンプル外パフォーマンスを説明する新しいアプローチを開始します。
具体的には、回帰タスクと分類タスクの両方で、RF 予測はトレーニング ターゲットの重み付き合計として正確に書き換えることができるという最近の結果を採用しています。ここで、重みは対応するデータ ポイントのペア間の RF 近接度です。
この線形性により、トレーニング セット内の観測全体にわたるモデル予測の属性を生成する RF 予測の説明可能性の局所的な概念が促進され、それによって入力特徴全体にわたるモデル予測の属性を生成する SHAP などの確立された特徴ベースの手法が補完されることを示します。
説明可能性に対するこの近接ベースのアプローチを SHAP と組み合わせて使用​​することで、モデルの予測だけでなく、サンプル外のパフォーマンスも説明できることを示します。これは、近接が特定のモデルの予測がいつ行われるかを評価する新しい手段を提供するという意味です。
多かれ少なかれ正しい可能性が高いです。
このアプローチを、回帰ケースと分類ケースの両方で米国社債価格とリターンのモデリングで実証します。

要約(オリジナル)

We initiate a novel approach to explain the predictions and out of sample performance of random forest (RF) regression and classification models by exploiting the fact that any RF can be mathematically formulated as an adaptive weighted K nearest-neighbors model. Specifically, we employ a recent result that, for both regression and classification tasks, any RF prediction can be rewritten exactly as a weighted sum of the training targets, where the weights are RF proximities between the corresponding pairs of data points. We show that this linearity facilitates a local notion of explainability of RF predictions that generates attributions for any model prediction across observations in the training set, and thereby complements established feature-based methods like SHAP, which generate attributions for a model prediction across input features. We show how this proximity-based approach to explainability can be used in conjunction with SHAP to explain not just the model predictions, but also out-of-sample performance, in the sense that proximities furnish a novel means of assessing when a given model prediction is more or less likely to be correct. We demonstrate this approach in the modeling of US corporate bond prices and returns in both regression and classification cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google