Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance

要約

最近、不純物や情報メトリックを局所的に最適化する従来のアプローチとは対照的に、最適な決定ツリー（ODT）メソッドに関心が高まっています。
ただし、文献は矛盾する結果を提供し、一部の人は貪欲なアプローチよりもSAMPLEの優れたパフォーマンスを実証するものもあれば、最適な方法の価値はまだ十分に理解されていません。
新しい広範な実験研究を通じて、学習決定ツリーの設計と行動に関する新しい洞察を提供します。
特に、ODTの2つの比較的未開拓の側面を特定して分析します。木のトレーニングで使用される目的関数とチューニングテクニックです。
したがって、これらの3つの質問に対処します。ODTで最適化する目的。
ODTを調整する方法。
そして、最適で貪欲な方法はどのように比較されますか？
実験的評価では、180の実際のデータセットと合成データセットに関する最適および貪欲な方法に関する文献からの11の目的関数、6つの調整方法、および6つの主張を調べます。
概念的および実験的に分析を通じて、貪欲で最適なアプローチにおける（非）凹面目標の効果を示します。
ODTの適切なチューニングの重要性を強調します。
文献からいくつかの主張を支援し、反論します。
貪欲で最適な方法の使用に関する研究者と実践者に明確な推奨事項を提供します。
将来の比較のためのコード。

要約(オリジナル)

Recently there has been a surge of interest in optimal decision tree (ODT) methods that globally optimize accuracy directly, in contrast to traditional approaches that locally optimize an impurity or information metric. However, the value of optimal methods is not well understood yet, as the literature provides conflicting results, with some demonstrating superior out-of-sample performance of ODTs over greedy approaches, while others show the opposite. Through a novel extensive experimental study, we provide new insights into the design and behavior of learning decision trees. In particular, we identify and analyze two relatively unexplored aspects of ODTs: the objective function used in training trees, and tuning techniques. Thus, we address these three questions: what objective to optimize in ODTs; how to tune ODTs; and how do optimal and greedy methods compare? Our experimental evaluation examines 11 objective functions, six tuning methods, and six claims from the literature on optimal and greedy methods on 180 real and synthetic data sets. Through our analysis, both conceptually and experimentally, we show the effect of (non-)concave objectives in greedy and optimal approaches; we highlight the importance of proper tuning of ODTs; support and refute several claims from the literature; provide clear recommendations for researchers and practitioners on the usage of greedy and optimal methods; and code for future comparisons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google