A Mathematical Programming Approach to Optimal Classification Forests

要約

タイトル：最適分類森林に対する数学的プログラムのアプローチ
要約：
– 最適分類森林は、最適な決定木のアンサンブルを利用して正確で解釈可能な分類器を導出する新しい分類器ファミリーである。
– 同時に複数の木が構築され、各木が特徴空間の観測値に対して予測されたクラスを提供する、数学的最適化に基づく方法論を提案する。
– 分類ルールは、森林内の木の中で最も頻繁に予測されるクラスを、各観測値に割り当てることによって導出される。
– 最適化問題のために、混合整数線形計画法の定式化を提供する。
– 計算実験の結果を報告し、提案された方法が、最新の木ベースの分類方法と同等または優れた性能を持つことを結論付ける。
– さらに、ランダムフォレストよりも桁違いに少ない数の木で高い予測精度を達成する。
– さらに、解釈性に関する非常に興味深い意味があることを示す、3つの実世界のケーススタディを提示する。

要約(オリジナル)

In this paper, we introduce Optimal Classification Forests, a new family of classifiers that takes advantage of an optimal ensemble of decision trees to derive accurate and interpretable classifiers. We propose a novel mathematical optimization-based methodology in which a given number of trees are simultaneously constructed, each of them providing a predicted class for the observations in the feature space. The classification rule is derived by assigning to each observation its most frequently predicted class among the trees in the forest. We provide a mixed integer linear programming formulation for the problem. We report the results of our computational experiments, from which we conclude that our proposed method has equal or superior performance compared with state-of-the-art tree-based classification methods. More importantly, it achieves high prediction accuracy with, for example, orders of magnitude fewer trees than random forests. We also present three real-world case studies showing that our methodology has very interesting implications in terms of interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI