要約
デシジョン ツリー学習は、解釈可能な機械学習の基本的な問題ですが、最適化には大きな課題をもたらします。
1990 年代初頭に遡る数多くの努力にもかかわらず、主にダイナミック プログラミング (DP) およびブランチ & バウンド (B&B) 技術を活用した実用的なアルゴリズムが登場したのはつい最近です。
これらの画期的な進歩により、2 つの異なるアプローチが開発されました。
DL8.5 や MurTree などのアルゴリズムはノード (またはブランチ) の空間で動作し、非常に高速ですが、複雑なデシジョン ツリーにペナルティを与えることはありません。つまり、スパース性を解決しません。
一方、OSDT や GOSDT などのアルゴリズムはデシジョン ツリーの空間で動作し、スパース性を解決しますが、速度が低下します。
この研究では、両方のパラダイムの長所を統合した新しいアルゴリズムである Branches を紹介します。
DP と B&B を活用することで、Branches は並外れた速度を実現しながら、スパース性も解決します。
その効率性の中心となるのは、検索空間の大幅な枝刈りを可能にする新しい分析限界です。
さらに、Branches はバイナリ機能を必要としません。
理論分析により、Branches は最先端の手法と比較して複雑さの限界が低いことが実証されており、この主張は広範な経験的評価を通じて検証されています。
私たちの結果は、Branches が速度と反復回数の点で最先端のパフォーマンスを上回り、一貫して最適なデシジョン ツリーを生成することを示しています。
要約(オリジナル)
Decision Tree Learning is a fundamental problem for Interpretable Machine Learning, yet it poses a formidable optimization challenge. Despite numerous efforts dating back to the early 1990’s, practical algorithms have only recently emerged, primarily leveraging Dynamic Programming (DP) and Branch & Bound (B&B) techniques. These breakthroughs led to the development of two distinct approaches. Algorithms like DL8.5 and MurTree operate on the space of nodes (or branches), they are very fast, but do not penalise complex Decision Trees, i.e. they do not solve for sparsity. On the other hand, algorithms like OSDT and GOSDT operate on the space of Decision Trees, they solve for sparsity but at the detriment of speed. In this work, we introduce Branches, a novel algorithm that integrates the strengths of both paradigms. Leveraging DP and B&B, Branches achieves exceptional speed while also solving for sparsity. Central to its efficiency is a novel analytical bound enabling substantial pruning of the search space. Furthermore, Branches does not necessitate binary features. Theoretical analysis demonstrates that Branches has a lower complexity bound compared to state-of-the-art methods, a claim validated through extensive empirical evaluation. Our results illustrate that Branches outperforms the state of the art in terms of speed and number of iterations while consistently yielding optimal Decision Trees.
arxiv情報
| 著者 | Ayman Chaouki,Jesse Read,Albert Bifet |
| 発行日 | 2024-06-21 13:45:51+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google