NCART: Neural Classification and Regression Tree for Tabular Data

要約

ディープ ラーニング モデルは、デシジョン ツリーの制限に対処し、半教師あり学習、オンライン学習、転移学習などの貴重なアプリケーションを可能にするため、表形式データの分析で人気が高まっています。
ただし、これらの深層学習アプローチにはトレードオフが発生することがよくあります。
一方で、大規模または高次元のデータセットを扱う場合、計算コストが高くなる可能性があります。
一方で、解釈可能性に欠ける可能性があり、小規模なデータセットには適さない可能性があります。
この研究では、これらの課題を克服するために、ニューラル分類回帰ツリー (NCART) と呼ばれる新しい解釈可能なニューラル ネットワークを提案します。
NCART は、完全に接続された層を複数の微分可能な忘却決定木に置き換える Residual Networks の修正バージョンです。
デシジョン ツリーをアーキテクチャに統合することで、NCART はニューラル ネットワークのエンドツーエンド機能の恩恵を受けながら、その解釈可能性を維持します。
NCART アーキテクチャはシンプルであるため、さまざまなサイズのデータ​​セットに適しており、最先端の深層学習モデルと比較して計算コストが削減されます。
広範な数値実験により、既存の深層学習モデルと比較して NCART のパフォーマンスが優れていることが実証され、ツリーベースのモデルに対する強力な競合相手として確立されています。

要約(オリジナル)

Deep learning models have become popular in the analysis of tabular data, as they address the limitations of decision trees and enable valuable applications like semi-supervised learning, online learning, and transfer learning. However, these deep-learning approaches often encounter a trade-off. On one hand, they can be computationally expensive when dealing with large-scale or high-dimensional datasets. On the other hand, they may lack interpretability and may not be suitable for small-scale datasets. In this study, we propose a novel interpretable neural network called Neural Classification and Regression Tree (NCART) to overcome these challenges. NCART is a modified version of Residual Networks that replaces fully-connected layers with multiple differentiable oblivious decision trees. By integrating decision trees into the architecture, NCART maintains its interpretability while benefiting from the end-to-end capabilities of neural networks. The simplicity of the NCART architecture makes it well-suited for datasets of varying sizes and reduces computational costs compared to state-of-the-art deep learning models. Extensive numerical experiments demonstrate the superior performance of NCART compared to existing deep learning models, establishing it as a strong competitor to tree-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google