Optimal Decision Tree Pruning Revisited: Algorithms and Complexity

要約

意思決定ツリー剪定操作の包括的な古典的およびパラメーター化された複雑さ分析を提示し、小さな決定ツリーを学習する複雑さに関する最近の研究を拡大します。
これにより、解釈可能で効率的な機械学習モデルを開発することの重要な側面である、決定ツリーの簡素化の計算上の課題に関する新しい洞察を提供します。
私たちは、ヒューリスティックで使用されるサブツリーの交換と育成の基本的な剪定操作に焦点を当てています。
驚くべきことに、サブツリー置換のために多項式時間に最適な剪定を実行できますが、問題はサブツリーの飼育ではNP完全です。
したがって、固定パラメーターのトラクション性または硬度につながるパラメーターと組み合わせを特定し、これらの複雑なクラス間の正確な境界線を確立します。
たとえば、サブツリーの上昇は小さなドメインサイズ$ d $または$ d $ of Featureの場合は困難ですが、$ d^{2d} \ cdot | i |^{o（1）} $の時間で解決できます。ここで、$ | i | $は入力サイズです。
予備的な実験結果で理論的発見を補完し、分析の実際的な意味を示しています。

要約(オリジナル)

We present a comprehensive classical and parameterized complexity analysis of decision tree pruning operations, extending recent research on the complexity of learning small decision trees. Thereby, we offer new insights into the computational challenges of decision tree simplification, a crucial aspect of developing interpretable and efficient machine learning models. We focus on fundamental pruning operations of subtree replacement and raising, which are used in heuristics. Surprisingly, while optimal pruning can be performed in polynomial time for subtree replacement, the problem is NP-complete for subtree raising. Therefore, we identify parameters and combinations thereof that lead to fixed-parameter tractability or hardness, establishing a precise borderline between these complexity classes. For example, while subtree raising is hard for small domain size $D$ or number $d$ of features, it can be solved in $D^{2d} \cdot |I|^{O(1)}$ time, where $|I|$ is the input size. We complement our theoretical findings with preliminary experimental results, demonstrating the practical implications of our analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google