Interpretable Ensembles of Hyper-Rectangles as Base Models

要約

基本モデル(HRBM)として一様に生成された軸平行ハイパー長方形を持つ新しい非常に単純なアンサンブルベースのモデルが提案されています。
2 種類の HRBM が研究されています: 閉じた長方形とコーナーです。
HRBM の背後にある主なアイデアは、各長方形の内側と外側のトレーニング例を考慮してカウントすることです。
HRBM を勾配ブースティング マシン (GBM) に組み込むことが提案されています。
HRBM の単純さにもかかわらず、これらの単純な基本モデルにより、効果的なアンサンブルベースのモデルを構築し、オーバーフィッティングを回避できることがわかりました。
GBM の各反復で明示的な方法で変更できる、アンサンブル ベースのモデルの最適な正則化パラメーターを計算するための簡単な方法が考慮されます。
さらに、標準の L1 および L2 正則化に加えて、「ステップ高ペナルティ」と呼ばれる新しい正則化が研究されています。
よく知られているメソッド SHAP を使用することにより、提案されたアンサンブル ベースのモデル予測解釈への非常に単純なアプローチが提案されます。
HRBM を使用した GBM は、ブラック ボックス モデルを説明するための解釈可能なモデルのセットを拡張したモデルと見なすことができることが示されています。
実際のデータセットを使用した数値実験は、回帰および分類の問題に対する HRBM を使用した提案された GBM を示しています。
実験は、提案された SHAP 変更の計算効率も示しています。
HRBM を使用して GBM を実装する提案されたアルゴリズムのコードは公開されています。

要約(オリジナル)

A new extremely simple ensemble-based model with the uniformly generated axis-parallel hyper-rectangles as base models (HRBM) is proposed. Two types of HRBMs are studied: closed rectangles and corners. The main idea behind HRBM is to consider and count training examples inside and outside each rectangle. It is proposed to incorporate HRBMs into the gradient boosting machine (GBM). Despite simplicity of HRBMs, it turns out that these simple base models allow us to construct effective ensemble-based models and avoid overfitting. A simple method for calculating optimal regularization parameters of the ensemble-based model, which can be modified in the explicit way at each iteration of GBM, is considered. Moreover, a new regularization called the ‘step height penalty’ is studied in addition to the standard L1 and L2 regularizations. An extremely simple approach to the proposed ensemble-based model prediction interpretation by using the well-known method SHAP is proposed. It is shown that GBM with HRBM can be regarded as a model extending a set of interpretable models for explaining black-box models. Numerical experiments with real datasets illustrate the proposed GBM with HRBMs for regression and classification problems. Experiments also illustrate computational efficiency of the proposed SHAP modifications. The code of proposed algorithms implementing GBM with HRBM is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google