TabKANet: Tabular Data Modelling with Kolmogorov-Arnold Network and Transformer

要約

表形式のデータは、実際のシナリオで最も一般的なタイプのデータです。
この研究では、TabKANet アーキテクチャに基づく手法を提案します。この手法は、Kolmogorov-Arnold ネットワークを利用して数値特徴をエンコードし、カテゴリ特徴とマージし、Transformer アーキテクチャ上で表形式データの統一モデリングを可能にします。
このモデルは、広く使用されている 6 つのバイナリ分類タスクで優れたパフォーマンスを示しており、TabKANet が従来のニューラル ネットワークを超え、表形式モデリングの標準アプローチになる可能性があることを示唆しています。
さらに、この研究では、数値特徴のエンコードにおけるコルモゴロフ-アーノルド ネットワークの重要な利点が明らかになりました。
私たちの作業のコードは https://github.com/tsinghuamedgao20/TabKANet で入手できます。

要約(オリジナル)

Tabular data is the most common type of data in real-life scenarios. In this study, we propose a method based on the TabKANet architecture, which utilizes the Kolmogorov-Arnold network to encode numerical features and merge them with categorical features, enabling unified modeling of tabular data on the Transformer architecture. This model demonstrates outstanding performance in six widely used binary classification tasks, suggesting that TabKANet has the potential to become a standard approach for tabular modeling, surpassing traditional neural networks. Furthermore, this research reveals the significant advantages of the Kolmogorov-Arnold network in encoding numerical features. The code of our work is available at https://github.com/tsinghuamedgao20/TabKANet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google