GRANDE: Gradient-Based Decision Tree Ensembles

要約

テキストや画像データに対するディープラーニングの成功にもかかわらず、ツリーベースのアンサンブルモデルは、異種の表形式データを扱う機械学習では依然として最先端である。しかし、表形式に特化した勾配ベースの手法は、その高い柔軟性から大きなニーズがある。本稿では、エンドツーエンドの勾配降下を使って、硬い軸揃え決定木アンサンブルを学習する新しいアプローチである$text{GRANDE}$, $die$text{N}$t-Based $text{D}$ecision Tree $text{E}$nsemblesを提案する。GRANDEは、木アンサンブルの密な表現に基づいており、ストレートスルー演算子を用いたバックプロパゲーションを用いて、全てのモデルパラメータを共同で最適化することができる。我々の手法は、表形式データに対する有用な帰納的バイアスである軸整列分割と、勾配ベースの最適化の柔軟性を組み合わせている。さらに、インスタンス単位の重み付けを導入することで、単純な関係と複雑な関係の両方の表現を単一のモデルで学習することを容易にする。我々は、19の分類データセットで定義されたベンチマークで広範な評価を行い、我々の手法がほとんどのデータセットで既存の勾配ブースティングやディープラーニングフレームワークを凌駕することを実証した。本手法は https://github.com/s-marton/GRANDE で利用可能である。

要約(オリジナル)

Despite the success of deep learning for text and image data, tree-based ensemble models are still state-of-the-art for machine learning with heterogeneous tabular data. However, there is a significant need for tabular-specific gradient-based methods due to their high flexibility. In this paper, we propose $\text{GRANDE}$, $\text{GRA}$die$\text{N}$t-Based $\text{D}$ecision Tree $\text{E}$nsembles, a novel approach for learning hard, axis-aligned decision tree ensembles using end-to-end gradient descent. GRANDE is based on a dense representation of tree ensembles, which affords to use backpropagation with a straight-through operator to jointly optimize all model parameters. Our method combines axis-aligned splits, which is a useful inductive bias for tabular data, with the flexibility of gradient-based optimization. Furthermore, we introduce an advanced instance-wise weighting that facilitates learning representations for both, simple and complex relations, within a single model. We conducted an extensive evaluation on a predefined benchmark with 19 classification datasets and demonstrate that our method outperforms existing gradient-boosting and deep learning frameworks on most datasets. The method is available under: https://github.com/s-marton/GRANDE

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL