Learning Decision Trees with Gradient Descent

要約

タイトル：勾配降下法による決定木の学習
要約：
– 決定木は非常に解釈性が高いため、多くの機械学習タスクで一般的に使用されています。
– しかし、データからDTを学習することは非常に困難な最適化問題であるため一般的には非効率的な学習方法が用いられます。
– 次元削減であるベンチマーク問題において、提案手法は他の手法を上回り、マルチクラスタスクにおいても競争力のある結果を達成しました。

要約(オリジナル)

Decision Trees (DTs) are commonly used for many machine learning tasks due to their high degree of interpretability. However, learning a DT from data is a difficult optimization problem, as it is non-convex and non-differentiable. Therefore, common approaches learn DTs using a greedy growth algorithm that minimizes the impurity locally at each internal node. Unfortunately, this greedy procedure can lead to suboptimal trees. In this paper, we present a novel approach for learning hard, axis-aligned DTs with gradient descent. The proposed method uses backpropagation with a straight-through operator on a dense DT representation to jointly optimize all tree parameters. Our approach outperforms existing methods on binary classification benchmarks and achieves competitive results for multi-class tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI