Necessary and Sufficient Conditions for Optimal Decision Trees using Dynamic Programming

要約

デシジョン ツリーのグローバル最適化は、精度、サイズ、ひいては人間の理解可能性の点で有望であることが示されています。
ただし、使用される手法の多くは汎用ソルバーに依存しているため、スケーラビリティに問題が残ります。
動的プログラミング手法は、サブツリーを独立した部分問題として解決することでツリー構造を活用するため、はるかに優れた拡張性を示すことが示されています。
ただし、これは目的をサブツリーごとに個別に最適化できる場合にのみ機能します。
我々は、この関係を詳細に調査し、そのような分離可能性のための必要十分条件を示し、以前の動的プログラミングアプローチを、分離可能な目的と制約の任意の組み合わせを最適化できるフレームワークに一般化します。
5 つのアプリケーション ドメインでの実験では、このフレームワークの一般的な適用性が示されていると同時に、汎用ソルバーのスケーラビリティを大幅に上回っています。

要約(オリジナル)

Global optimization of decision trees has shown to be promising in terms of accuracy, size, and consequently human comprehensibility. However, many of the methods used rely on general-purpose solvers for which scalability remains an issue. Dynamic programming methods have been shown to scale much better because they exploit the tree structure by solving subtrees as independent subproblems. However, this only works when an objective can be optimized separately for subtrees. We explore this relationship in detail and show necessary and sufficient conditions for such separability and generalize previous dynamic programming approaches into a framework that can optimize any combination of separable objectives and constraints. Experiments on five application domains show the general applicability of this framework, while outperforming the scalability of general-purpose solvers by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google