TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling

要約

表形式データの監視された学習のためのディープラーニングアーキテクチャは、単純な多層パーセプトロン（MLP）から洗練された変圧器や検索された高級メソッドまで、範囲があります。
この研究は、MLPベースの実質的な表形式アーキテクチャを設計するための主要な、しかしこれまで見過ごされていた機会を強調しています。
つまり、新しいモデルタブは効率的なアンサンブルに依存しており、1つのタブがMLPのアンサンブルを効率的に模倣し、オブジェクトごとに複数の予測を生成します。
TABMでは、従来のディープアンサンブルと比較して、基礎となる暗黙のMLPが同時にトレーニングされ、パラメーターのほとんどが共有されるため、パフォーマンスと効率が大幅に向上します。
TABMを新しいベースラインとして使用して、タスクのパフォーマンスと効率の両方の観点から、パブリックベンチマーク上の表形式DLアーキテクチャの大規模な評価を実行します。
一般に、TABMを含むMLPは、注意および検索ベースのアーキテクチャと比較して、より強力でより実用的なモデルのラインを形成することを示しています。
特に、TABMが表形式DLモデルで最高のパフォーマンスを実証することがわかります。
次に、TABMのアンサンブルのような性質に関する経験的分析を実施します。
TABMの複数の予測は個別に弱いが、集合的に強力であることがわかります。
全体として、私たちの研究は、魅力的なテクニックを表形式のDLにもたらし、TABMとのパフォーマンス効率のトレードオフを進めます。これは、研究者と実践者にとってシンプルで強力なベースラインです。

要約(オリジナル)

Deep learning architectures for supervised learning on tabular data range from simple multilayer perceptrons (MLP) to sophisticated Transformers and retrieval-augmented methods. This study highlights a major, yet so far overlooked opportunity for designing substantially better MLP-based tabular architectures. Namely, our new model TabM relies on efficient ensembling, where one TabM efficiently imitates an ensemble of MLPs and produces multiple predictions per object. Compared to a traditional deep ensemble, in TabM, the underlying implicit MLPs are trained simultaneously, and (by default) share most of their parameters, which results in significantly better performance and efficiency. Using TabM as a new baseline, we perform a large-scale evaluation of tabular DL architectures on public benchmarks in terms of both task performance and efficiency, which renders the landscape of tabular DL in a new light. Generally, we show that MLPs, including TabM, form a line of stronger and more practical models compared to attention- and retrieval-based architectures. In particular, we find that TabM demonstrates the best performance among tabular DL models. Then, we conduct an empirical analysis on the ensemble-like nature of TabM. We observe that the multiple predictions of TabM are weak individually, but powerful collectively. Overall, our work brings an impactful technique to tabular DL and advances the performance-efficiency trade-off with TabM — a simple and powerful baseline for researchers and practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google