ODTE — An ensemble of multi-class SVM-based oblique decision trees

要約

我々は、基本分類子として斜めの決定木を使用する新しいアンサンブルである ODTE を提案します。
さらに、サポート ベクター マシンを利用してデシジョン ノード内に超平面を定義する、斜めデシジョン ツリーを成長させるための基本アルゴリズムである STree を紹介します。
マルチクラス戦略 (1 対 1 または 1 対残り) をデシジョン ノードに埋め込み、モデルが非バイナリ分類タスクを直接処理できるようにします。これにより、インスタンスを 2 つのグループにクラスタリングする必要がなくなります。
文献からの他のアプローチ。
各決定ノードでは、学習された SVM が 2 値分類サブタスクに対応する場合でも、最もパフォーマンスの高いモデル SVM (n 値分類の不純物測度を最小化するモデル) のみが保持されます。
49 のデータセットと、斜め決定木アンサンブルに対するさまざまな最先端のアルゴリズムを含む大規模な実験研究が実施されました。
私たちの結果は、ODTE が競合他社よりも一貫して上位にランクされており、ハイパーパラメーターが慎重に調整されている場合に大幅なパフォーマンス向上を達成していることを示しています。
さらに、STree を通じて学習された斜め決定木は、実験で評価された他のアルゴリズムによって生成された決定木よりもコンパクトです。

要約(オリジナル)

We propose ODTE, a new ensemble that uses oblique decision trees as base classifiers. Additionally, we introduce STree, the base algorithm for growing oblique decision trees, which leverages support vector machines to define hyperplanes within the decision nodes. We embed a multiclass strategy — one-vs-one or one-vs-rest — at the decision nodes, allowing the model to directly handle non-binary classification tasks without the need to cluster instances into two groups, as is common in other approaches from the literature. In each decision node, only the best-performing model SVM — the one that minimizes an impurity measure for the n-ary classification — is retained, even if the learned SVM addresses a binary classification subtask. An extensive experimental study involving 49 datasets and various state-of-the-art algorithms for oblique decision tree ensembles has been conducted. Our results show that ODTE ranks consistently above its competitors, achieving significant performance gains when hyperparameters are carefully tuned. Moreover, the oblique decision trees learned through STree are more compact than those produced by other algorithms evaluated in our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google