Rolling Lookahead Learning for Optimal Classification Trees

要約

タイトル：最適分類木のためのローリング先読み学習

要約：
– 分類木は、その解釈性やスケーラビリティの高さから、機械学習アプリケーションで広く採用されている。
– 本研究では、最適手法の先読み性と、短視眼的な手法の拡張性を組み合わせた、ローリングサブツリー先読みアルゴリズムを提案する。
– 限定された先読みが、最適手法で観察される学習パスロジーを軽減する。
– アルゴリズムの中心にあるのは、どの損失関数でも扱える柔軟な二層の最適二分木の新しい形式である。
– この形式の実行可能領域が、整数多面体であることを示し、LP緩和解が最適であることを導く。
– 広範な計算的解析により、本手法は1330の問題インスタンスのうち808で、最適手法と短視眼的手法を上回り、アウト・オブ・サンプルの精度をそれぞれ最大で23.6％、14.4％向上させることを示した。

要約(オリジナル)

Classification trees continue to be widely adopted in machine learning applications due to their inherently interpretable nature and scalability. We propose a rolling subtree lookahead algorithm that combines the relative scalability of the myopic approaches with the foresight of the optimal approaches in constructing trees. The limited foresight embedded in our algorithm mitigates the learning pathology observed in optimal approaches. At the heart of our algorithm lies a novel two-depth optimal binary classification tree formulation flexible to handle any loss function. We show that the feasible region of this formulation is an integral polyhedron, yielding the LP relaxation solution optimal. Through extensive computational analyses, we demonstrate that our approach outperforms optimal and myopic approaches in 808 out of 1330 problem instances, improving the out-of-sample accuracy by up to 23.6% and 14.4%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI