On Embeddings for Numerical Features in Tabular Deep Learning

要約

最近、Transformer のようなディープ アーキテクチャが表形式のデータ問題に対して優れたパフォーマンスを示しています。
MLP などの従来のモデルとは異なり、これらのアーキテクチャは、メイン バックボーンで混合する前に、数値特徴のスカラー値を高次元の埋め込みにマッピングします。
この研究では、数値特徴の埋め込みは表形式 DL における未開発の自由度であり、これによりより強力な DL モデルを構築し、伝統的に GBDT に適したベンチマークで GBDT と競合できると主張します。
まず、埋め込みモジュールを構築するための 2 つの概念的に異なるアプローチについて説明します。1 つ目はスカラー値の区分的線形エンコードに基づき、2 つ目は周期的なアクティブ化を利用します。
次に、これら 2 つのアプローチが、線形層や ReLU アクティベーションなどの従来のブロックに基づく埋め込みと比較して、パフォーマンスの大幅な向上につながる可能性があることを経験的に示します。
重要なのは、数値特徴の埋め込みがトランスフォーマーだけでなく、多くのバックボーンにとって有益であることも示しています。
具体的には、適切な埋め込みの後、単純な MLP のようなモデルは、アテンションベースのアーキテクチャと同等のパフォーマンスを発揮できます。
全体として、数値特徴の埋め込みは、表形式 DL のさらなる改善の可能性を秘めた重要な設計側面として強調されています。

要約(オリジナル)

Recently, Transformer-like deep architectures have shown strong performance on tabular data problems. Unlike traditional models, e.g., MLP, these architectures map scalar values of numerical features to high-dimensional embeddings before mixing them in the main backbone. In this work, we argue that embeddings for numerical features are an underexplored degree of freedom in tabular DL, which allows constructing more powerful DL models and competing with GBDT on some traditionally GBDT-friendly benchmarks. We start by describing two conceptually different approaches to building embedding modules: the first one is based on a piecewise linear encoding of scalar values, and the second one utilizes periodic activations. Then, we empirically demonstrate that these two approaches can lead to significant performance boosts compared to the embeddings based on conventional blocks such as linear layers and ReLU activations. Importantly, we also show that embedding numerical features is beneficial for many backbones, not only for Transformers. Specifically, after proper embeddings, simple MLP-like models can perform on par with the attention-based architectures. Overall, we highlight embeddings for numerical features as an important design aspect with good potential for further improvements in tabular DL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google