A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming

要約

ツリー アンサンブルは非常に人気のある機械学習モデルであり、教師付き分類および回帰タスクでの有効性で知られています。
そのパフォーマンスは、解釈可能性の特性で知られる複数のデシジョン ツリーの予測を集約することで得られます。
ただし、ツリー アンサンブル モデルは、解釈可能な出力を確実に示すわけではありません。
私たちの仕事の目的は、トレーニングされたツリー アンサンブルからルールの最適化されたリストを抽出し、完全なモデルの予測力のほとんどを維持した、凝縮された解釈可能なモデルをユーザーに提供することです。
私たちのアプローチは、整数計画法によって定式化された集合分割問題を解決することで構成されています。
提案された方法は、分類タスクと回帰タスクの両方で表形式または時系列データを処理し、その柔軟な定式化には任意の損失関数または正則化関数を含めることができます。
私たちの広範な計算実験により、予測パフォーマンスとツリー集合に対する忠実度の点で、私たちの方法が他のルール抽出方法と競合できるという統計的に重要な証拠が得られました。
さらに、提案手法が時系列データ用に設計されたツリーアンサンブルから解釈可能なルールを効果的に抽出することを経験的に示します。

要約(オリジナル)

Tree ensembles are very popular machine learning models, known for their effectiveness in supervised classification and regression tasks. Their performance derives from aggregating predictions of multiple decision trees, which are renowned for their interpretability properties. However, tree ensemble models do not reliably exhibit interpretable output. Our work aims to extract an optimized list of rules from a trained tree ensemble, providing the user with a condensed, interpretable model that retains most of the predictive power of the full model. Our approach consists of solving a set partitioning problem formulated through Integer Programming. The proposed method works with either tabular or time series data, for both classification and regression tasks, and its flexible formulation can include any arbitrary loss or regularization functions. Our extensive computational experiments offer statistically significant evidence that our method is competitive with other rule extraction methods in terms of predictive performance and fidelity towards the tree ensemble. Moreover, we empirically show that the proposed method effectively extracts interpretable rules from tree ensemble that are designed for time series data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google