CART-ELC: Oblique Decision Tree Induction via Exhaustive Search

要約

斜めの決定木は、従来の軸に並べられた決定木よりも分類性能が改善される可能性のために注目を集めています。
ただし、斜めの分割を見つけるために徹底的な検索に依存する方法は、計算上の課題に直面しています。
その結果、それらは広く探求されていません。
制限されたハイパープレーンのセットで徹底的な検索を実行する斜めの決定ツリーを誘導するために、新しいアルゴリズム、分類および回帰ツリー – 網羅的な線形結合（CART -ELC）を紹介します。
次に、アルゴリズムの計算の複雑さとその予測機能を調査します。
我々の結果は、CART-ELCが小さなデータセットで一貫して競争力のあるパフォーマンスを達成し、しばしば既存の決定ツリー誘導アルゴリズムと比較して分類精度の統計的に有意な改善をもたらし、しばしばより浅く、よりシンプルで、したがってより解釈可能な木を生成することを示しています。

要約(オリジナル)

Oblique decision trees have attracted attention due to their potential for improved classification performance over traditional axis-aligned decision trees. However, methods that rely on exhaustive search to find oblique splits face computational challenges. As a result, they have not been widely explored. We introduce a novel algorithm, Classification and Regression Tree – Exhaustive Linear Combinations (CART-ELC), for inducing oblique decision trees that performs an exhaustive search on a restricted set of hyperplanes. We then investigate the algorithm’s computational complexity and its predictive capabilities. Our results demonstrate that CART-ELC consistently achieves competitive performance on small datasets, often yielding statistically significant improvements in classification accuracy relative to existing decision tree induction algorithms, while frequently producing shallower, simpler, and thus more interpretable trees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google