A Closer Look at Deep Learning Methods on Tabular Datasets

要約

表形式のデータは、機械学習のさまざまな領域に広く普及しています。
ツリーベースのモデルなどの古典的な手法は長い間有効でしたが、最近ではディープ ニューラル ネットワーク (DNN) ベースの手法が有望なパフォーマンスを実証しています。
ただし、手法の多様な特性と表形式データセットの固有の不均一性により、表形式手法の理解と解釈は困難であり、観察が不安定になる傾向があります。
このペーパーでは、幅広いタスクの種類、サイズ、ドメインにわたる 300 を超える表形式データセットのベンチマークを使用して、特に DNN ベースのモデルに焦点を当てた表形式手法の詳細な評価と包括的な分析を実行します。
まず、32 の最先端のディープ メソッドとツリー ベースのメソッドを広範に比較し、複数の基準にわたる平均パフォーマンスを評価します。
メソッドのランクはデータセットによって異なりますが、使用される基準に関係なく、最もパフォーマンスの高いメソッドは表形式モデルの小さなサブセット内に集中する傾向があることが経験的にわかっています。
次に、深い表形式モデルのトレーニング ダイナミクスがデータセットのプロパティに基づいて予測できるかどうかを調査します。
このアプローチは、深い表形式メソッドの動作についての洞察を提供するだけでなく、データセットの異質性を反映する「メタ特徴」のコアセットも特定します。
もう 1 つのサブセットには、メソッド ランクが全体的なベンチマークと一致しているデータセットが含まれており、さらなる表形式分析のための信頼できるプローブとして機能します。

要約(オリジナル)

Tabular data is prevalent across diverse domains in machine learning. While classical methods like tree-based models have long been effective, Deep Neural Network (DNN)-based methods have recently demonstrated promising performance. However, the diverse characteristics of methods and the inherent heterogeneity of tabular datasets make understanding and interpreting tabular methods both challenging and prone to unstable observations. In this paper, we conduct in-depth evaluations and comprehensive analyses of tabular methods, with a particular focus on DNN-based models, using a benchmark of over 300 tabular datasets spanning a wide range of task types, sizes, and domains. First, we perform an extensive comparison of 32 state-of-the-art deep and tree-based methods, evaluating their average performance across multiple criteria. Although method ranks vary across datasets, we empirically find that top-performing methods tend to concentrate within a small subset of tabular models, regardless of the criteria used. Next, we investigate whether the training dynamics of deep tabular models can be predicted based on dataset properties. This approach not only offers insights into the behavior of deep tabular methods but also identifies a core set of ‘meta-features’ that reflect dataset heterogeneity. The other subset includes datasets where method ranks are consistent with the overall benchmark, acting as a reliable probe for further tabular analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google