Revisiting Deep Learning Models for Tabular Data

要約

表形式データの深層学習に関する既存の文献では、幅広い新しいアーキテクチャが提案され、さまざまなデータセットでの競合結果が報告されています。
ただし、提案されたモデルは通常、相互に適切に比較されておらず、既存の研究では異なるベンチマークや実験プロトコルが使用されることがよくあります。
その結果、研究者にとっても実務者にとっても、どのモデルが最も優れたパフォーマンスを発揮するのかは不明です。
さらに、この分野には効果的なベースライン、つまりさまざまな問題にわたって競争力のあるパフォーマンスを提供する使いやすいモデルがまだ不足しています。
この作業では、表形式データの DL アーキテクチャの主要なファミリーの概要を実行し、2 つのシンプルで強力なディープ アーキテクチャを特定することで、表形式 DL のベースラインの基準を引き上げます。
1 つ目は ResNet のようなアーキテクチャで、これは以前の研究では欠けていることが多かった強力なベースラインであることが判明しました。
2 番目のモデルは、Transformer アーキテクチャを表形式データに単純に適応させたもので、ほとんどのタスクで他のソリューションよりも優れたパフォーマンスを発揮します。
どちらのモデルも、同じトレーニングおよびチューニング プロトコルの下でさまざまなタスクのセットについて多くの既存のアーキテクチャと比較されます。
また、最良の DL モデルと勾配ブースト デシジョン ツリーを比較し、普遍的に優れたソリューションはまだ存在しないと結論付けています。

要約(オリジナル)

The existing literature on deep learning for tabular data proposes a wide range of novel architectures and reports competitive results on various datasets. However, the proposed models are usually not properly compared to each other and existing works often use different benchmarks and experiment protocols. As a result, it is unclear for both researchers and practitioners what models perform best. Additionally, the field still lacks effective baselines, that is, the easy-to-use models that provide competitive performance across different problems. In this work, we perform an overview of the main families of DL architectures for tabular data and raise the bar of baselines in tabular DL by identifying two simple and powerful deep architectures. The first one is a ResNet-like architecture which turns out to be a strong baseline that is often missing in prior works. The second model is our simple adaptation of the Transformer architecture for tabular data, which outperforms other solutions on most tasks. Both models are compared to many existing architectures on a diverse set of tasks under the same training and tuning protocols. We also compare the best DL models with Gradient Boosted Decision Trees and conclude that there is still no universally superior solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google