Unlocking the Transferability of Tokens in Deep Models for Tabular Data

要約

事前トレーニングされたディープ ニューラル ネットワークを微調整することは、さまざまな機械学習タスクにおいて成功するパラダイムとなっています。
ただし、このようなパラダイムは、事前トレーニングされたモデルの特徴セットとターゲット タスクの間に不一致がある場合、表形式データの場合に特に困難になります。
この論文では、特徴トークン (つまり、表形式の特徴の埋め込み) の品質を向上させることを目的とした方法である TabToken を提案します。
TabToken を使用すると、上流タスクと下流タスクが重複する機能を共有する場合に、事前トレーニングされたモデルを利用できるようになり、限られたトレーニング例でもモデルの微調整が容易になります。
具体的には、トークンを正規化し、機能内および機能間のセマンティクスをキャプチャする対照的な目的を導入します。
事前トレーニング段階では、トークンはトランスフォーマーなどの最上位層のディープモデルと共同で学習されます。
ダウンストリーム タスクでは、共有機能のトークンは固定されたままですが、TabToken はモデルの残りの部分を効率的に微調整します。
TabToken は、事前トレーニングされたモデルから異種の特徴を持つタスクへの知識の伝達を可能にするだけでなく、標準的な分類および回帰タスクにおける深い表形式モデルの識別能力も強化します。

要約(オリジナル)

Fine-tuning a pre-trained deep neural network has become a successful paradigm in various machine learning tasks. However, such a paradigm becomes particularly challenging with tabular data when there are discrepancies between the feature sets of pre-trained models and the target tasks. In this paper, we propose TabToken, a method aims at enhancing the quality of feature tokens (i.e., embeddings of tabular features). TabToken allows for the utilization of pre-trained models when the upstream and downstream tasks share overlapping features, facilitating model fine-tuning even with limited training examples. Specifically, we introduce a contrastive objective that regularizes the tokens, capturing the semantics within and across features. During the pre-training stage, the tokens are learned jointly with top-layer deep models such as transformer. In the downstream task, tokens of the shared features are kept fixed while TabToken efficiently fine-tunes the remaining parts of the model. TabToken not only enables knowledge transfer from a pre-trained model to tasks with heterogeneous features, but also enhances the discriminative ability of deep tabular models in standard classification and regression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google