GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent

要約

決定木（DT）は、その解釈可能性の高さから、多くの機械学習タスクに一般的に使用されている。しかし、データからDTを学習することは、非凸かつ微分不可能であるため、難しい最適化問題である。そのため、一般的なアプローチでは、各内部ノードで局所的に不純物を最小化する貪欲な成長アルゴリズムを用いてDTを学習する。残念なことに、この貪欲な手順は不正確な木を導く可能性がある。本論文では、勾配降下法を用いて、硬い軸合わせされたDTを学習する新しいアプローチを提案する。提案手法は、密なDT表現に対して直進演算子を用いたバックプロパゲーションを用い、全ての木パラメータを共同で最適化する。我々の手法は、二値分類ベンチマークにおいて既存の手法を凌駕し、多クラスタスクにおいても競争力のある結果を達成している。この手法は https://github.com/s-marton/GradTree で利用可能である。

要約(オリジナル)

Decision Trees (DTs) are commonly used for many machine learning tasks due to their high degree of interpretability. However, learning a DT from data is a difficult optimization problem, as it is non-convex and non-differentiable. Therefore, common approaches learn DTs using a greedy growth algorithm that minimizes the impurity locally at each internal node. Unfortunately, this greedy procedure can lead to inaccurate trees. In this paper, we present a novel approach for learning hard, axis-aligned DTs with gradient descent. The proposed method uses backpropagation with a straight-through operator on a dense DT representation, to jointly optimize all tree parameters. Our approach outperforms existing methods on binary classification benchmarks and achieves competitive results for multi-class tasks. The method is available under: https://github.com/s-marton/GradTree

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL