TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling

要約

表形式データの教師あり学習のための深層学習アーキテクチャは、単純な多層パーセプトロン (MLP) から高度なトランスフォーマーや検索拡張手法まで多岐にわたります。
この研究は、表形式 MLP を大幅に改善するための、しかしこれまで見落とされてきた重要な機会、つまりパラメータ効率の高いアンサンブル、つまりモデルのアンサンブルを複数の予測を生成する 1 つのモデルとして実装するパラダイムに焦点を当てています。
私たちは、MLP と BatchEnsemble (既存の手法) のバリエーションに基づく単純なモデルである TabM を開発することから始めます。
次に、タスクのパフォーマンスと効率の両方の観点から、公開ベンチマークで表形式 DL アーキテクチャの大規模評価を実行します。これにより、表形式 DL の状況が新たな観点から明らかになります。
一般に、TabM を含む MLP は、注意および検索ベースのアーキテクチャと比較して、より強力でより実用的な一連のモデルを形成することを示します。
特に、TabM が表形式 DL モデルの中で最高のパフォーマンスを示していることがわかります。
最後に、TabM のアンサンブルのような性質について実証分析を行います。
たとえば、TabM の複数の予測は、個別には弱いですが、集合的には強力であることがわかります。
全体として、私たちの取り組みは、表形式 DL に影響力のある手法を導入し、その動作を分析し、研究者や実践者にとってのシンプルで強力なベースラインである TabM とのパフォーマンスと効率のトレードオフを前進させます。

要約(オリジナル)

Deep learning architectures for supervised learning on tabular data range from simple multilayer perceptrons (MLP) to sophisticated Transformers and retrieval-augmented methods. This study highlights a major, yet so far overlooked opportunity for substantially improving tabular MLPs: namely, parameter-efficient ensembling — a paradigm for implementing an ensemble of models as one model producing multiple predictions. We start by developing TabM — a simple model based on MLP and our variations of BatchEnsemble (an existing technique). Then, we perform a large-scale evaluation of tabular DL architectures on public benchmarks in terms of both task performance and efficiency, which renders the landscape of tabular DL in a new light. Generally, we show that MLPs, including TabM, form a line of stronger and more practical models compared to attention- and retrieval-based architectures. In particular, we find that TabM demonstrates the best performance among tabular DL models. Lastly, we conduct an empirical analysis on the ensemble-like nature of TabM. For example, we observe that the multiple predictions of TabM are weak individually, but powerful collectively. Overall, our work brings an impactful technique to tabular DL, analyses its behaviour, and advances the performance-efficiency trade-off with TabM — a simple and powerful baseline for researchers and practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google