要約
決定木(DT)学習は、解釈可能な機械学習における基本的な問題であるが、その最適化には困難な課題がある。1990年代初頭にさかのぼる数多くの取り組みにもかかわらず、実用的なアルゴリズムが登場したのはごく最近のことで、主に動的計画法（DP）と分岐と束縛（B&B）の手法を活用している。DL8.5、MurTree、STreeDのようなアルゴリズムは、効率的なDP戦略を利用するが、探索空間の刈り込みのための効果的な境界がない。一方、OSDTやGOSDTのようなアルゴリズムは、より効率的な刈り込み境界を採用するが、より洗練されたDP戦略を犠牲にしている。我々は、両者の長所を組み合わせた新しいアルゴリズムであるBranchesを紹介する。効率的な刈り込みのための新しい解析的境界を持つDPとB&Bを用いることで、Branchesは速度とスパース性の最適化の両方を実現する。他の手法とは異なり、非二値特徴も扱うことができる。理論的解析により、既存の手法と比較して複雑性が低いことが示され、経験的な結果により、Branchesは速度、反復数、最適性において最先端の手法を上回ることが確認された。
要約(オリジナル)
Decision Tree (DT) Learning is a fundamental problem in Interpretable Machine Learning, yet it poses a formidable optimisation challenge. Despite numerous efforts dating back to the early 1990’s, practical algorithms have only recently emerged, primarily leveraging Dynamic Programming (DP) and Branch & Bound (B&B) techniques. These methods fall into two categories: algorithms like DL8.5, MurTree and STreeD utilise an efficient DP strategy but lack effective bounds for pruning the search space; while algorithms like OSDT and GOSDT employ more efficient pruning bounds but at the expense of a less refined DP strategy. We introduce Branches, a new algorithm that combines the strengths of both approaches. Using DP and B&B with a novel analytical bound for efficient pruning, Branches offers both speed and sparsity optimisation. Unlike other methods, it also handles non-binary features. Theoretical analysis shows its lower complexity compared to existing methods, and empirical results confirm that Branches outperforms the state-of-the-art in speed, iterations, and optimality.
arxiv情報
| 著者 | Ayman Chaouki,Jesse Read,Albert Bifet |
| 発行日 | 2024-10-04 15:44:53+00:00 |
| arxivサイト | arxiv_id(pdf) |