Mambular: A Sequential Model for Tabular Deep Learning

要約

表形式データの分析は伝統的に、カテゴリ的特徴と数値的特徴を組み合わせた能力に優れていることで知られる勾配ブースト決定木 (GBDT) が主流でした。
しかし、最近の深層学習のイノベーションは、この優位性に挑戦しています。
表形式データ用に最適化された Mamba アーキテクチャを適応させた Mambular を紹介します。
私たちは、ニューラル ネットワークやツリーベースの手法を含む最先端のモデルに対して Mambular のベンチマークを広範囲に実施し、さまざまなデータセットにわたってその競争力のあるパフォーマンスを実証しています。
さらに、表形式データに対する Mambular の有効性を理解するために、Mambular のさまざまな適応を検討します。
私たちは、さまざまなプーリング戦略、機能相互作用メカニズム、および双方向処理を調査します。
私たちの分析は、特徴をシーケンスとして解釈し、それらを Mamba レイヤーに渡すと、驚くほどパフォーマンスの高いモデルが得られることを示しています。
この結果は、表形式データ分析のための多用途かつ強力なアーキテクチャとして Mambulars の可能性を強調し、この分野での深層学習アプリケーションの範囲を拡大します。
ソース コードは https://github.com/basf/mamba-tabular で入手できます。

要約(オリジナル)

The analysis of tabular data has traditionally been dominated by gradient-boosted decision trees (GBDTs), known for their proficiency with mixed categorical and numerical features. However, recent deep learning innovations are challenging this dominance. We introduce Mambular, an adaptation of the Mamba architecture optimized for tabular data. We extensively benchmark Mambular against state-of-the-art models, including neural networks and tree-based methods, and demonstrate its competitive performance across diverse datasets. Additionally, we explore various adaptations of Mambular to understand its effectiveness for tabular data. We investigate different pooling strategies, feature interaction mechanisms, and bi-directional processing. Our analysis shows that interpreting features as a sequence and passing them through Mamba layers results in surprisingly performant models. The results highlight Mambulars potential as a versatile and powerful architecture for tabular data analysis, expanding the scope of deep learning applications in this domain. The source code is available at https://github.com/basf/mamba-tabular.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google