Loss-Optimal Classification Trees: A Generalized Framework and the Logistic Case

要約

分類ツリー (CT) は、解釈可能な機械学習で最も一般的なモデルの 1 つです。
このようなモデルは通常、貪欲な戦略を使用して構築されますが、近年、ミキサー整数計画 (MIP) ソルバーの目覚ましい進歩のおかげで、学習問題の正確な定式化がいくつか開発されました。
この論文では、これらのトレーニング モデルの中で最も関連性の高いもののいくつかは一般的なフレームワーク内にカプセル化でき、そのインスタンスは損失関数と正則化子の仕様によって形成されると主張します。
次に、このフレームワークの新しい実現方法を紹介します。特に、線形区分近似によって MIP 設定で処理されるロジスティック損失を考慮し、それを $\ell_1$ 正則化項と組み合わせます。
結果として得られる最適ロジスティック ツリー モデルは、最先端の MIP ベースのアプローチと比較して、強化された解釈可能性機能と競争力のある一般化機能を備えたツリーを誘導できることが数値的に証明されています。

要約(オリジナル)

The Classification Tree (CT) is one of the most common models in interpretable machine learning. Although such models are usually built with greedy strategies, in recent years, thanks to remarkable advances in Mixer-Integer Programming (MIP) solvers, several exact formulations of the learning problem have been developed. In this paper, we argue that some of the most relevant ones among these training models can be encapsulated within a general framework, whose instances are shaped by the specification of loss functions and regularizers. Next, we introduce a novel realization of this framework: specifically, we consider the logistic loss, handled in the MIP setting by a linear piece-wise approximation, and couple it with $\ell_1$-regularization terms. The resulting Optimal Logistic Tree model numerically proves to be able to induce trees with enhanced interpretability features and competitive generalization capabilities, compared to the state-of-the-art MIP-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google