Online Learning of Decision Trees with Thompson Sampling

要約

デシジョン ツリーは、解釈可能な機械学習のための著名な予測モデルです。
これらは、主に固定ラベル付きデータセットを使用したバッチ設定で徹底的に研究され、C4.5、ID3、CART などの人気のあるアルゴリズムにつながりました。
残念ながら、これらの方法はヒューリスティックな性質を持っており、全体的な最適性の保証を提供しない貪欲な分割に依存しており、多くの場合、不必要に複雑で解釈が難しいデシジョン ツリーにつながります。
最近のブレークスルーにより、バッチ設定におけるこの準最適性の問題は解決されましたが、データがストリームで到着するオンライン設定を考慮した研究はありませんでした。
この目的を達成するために、オンライン設定で最適なデシジョン ツリーを生成できる新しいモンテカルロ ツリー検索アルゴリズム、トンプソン サンプリング デシジョン ツリー (TSDT) を考案しました。
私たちはアルゴリズムを分析し、そのアルゴリズムがほぼ確実に最適なツリーに収束することを証明します。
さらに、研究結果を実証的に検証するために広範な実験を実施します。
提案された TSDT は、オンライン設定に合わせて調整できるという実用的な利点を示しながら、いくつかのベンチマークで既存のアルゴリズムを上回っています。

要約(オリジナル)

Decision Trees are prominent prediction models for interpretable Machine Learning. They have been thoroughly researched, mostly in the batch setting with a fixed labelled dataset, leading to popular algorithms such as C4.5, ID3 and CART. Unfortunately, these methods are of heuristic nature, they rely on greedy splits offering no guarantees of global optimality and often leading to unnecessarily complex and hard-to-interpret Decision Trees. Recent breakthroughs addressed this suboptimality issue in the batch setting, but no such work has considered the online setting with data arriving in a stream. To this end, we devise a new Monte Carlo Tree Search algorithm, Thompson Sampling Decision Trees (TSDT), able to produce optimal Decision Trees in an online setting. We analyse our algorithm and prove its almost sure convergence to the optimal tree. Furthermore, we conduct extensive experiments to validate our findings empirically. The proposed TSDT outperforms existing algorithms on several benchmarks, all while presenting the practical advantage of being tailored to the online setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google