Rethinking Data Augmentation for Tabular Data in Deep Learning

要約

表形式のデータは、機械学習 (ML) で最も広く使用されているデータ形式です。
ツリーベースの手法は教師あり学習において DL ベースの手法よりも優れていますが、最近の文献では、Transformer ベースのモデルを使用した自己教師あり学習がツリーベースの手法よりも優れていると報告されています。
表形式データの自己教師あり学習に関する既存の文献では、対照学習が主流の方法です。
対照学習では、さまざまなビューを生成するためにデータ拡張が重要です。
しかし、表形式データのデータ拡張は、表形式データの独特な構造と高度な複雑さのため、困難でした。
さらに、既存の手法では、モデル構造、自己教師あり学習手法、データ拡張という 3 つの主要コンポーネントが一緒に提案されています。
したがって、これまでの研究では、これらのコンポーネントを総合的に考慮せずにパフォーマンスを比較しており、各コンポーネントが実際のパフォーマンスにどのような影響を与えるかは明らかではありませんでした。
この研究では、これらの問題に対処するためのデータ拡張に焦点を当てます。
我々は、マスクトークンを一部に置き換える新しいデータ拡張手法 $\textbf{M}$ask $\textbf{T}$oken $\textbf{R}$eplacement ($\texttt{MTR}$) を提案します。
トークン化された各列の;
$\texttt{MTR}$ は、表形式データの DL ベースのアーキテクチャとして主流になりつつある Transformer のプロパティを利用して、各列の埋め込みに対してデータ拡張を実行します。
教師あり学習シナリオと自己教師あり学習シナリオの両方で 13 の多様な公開データセットを使用した実験を通じて、$\texttt{MTR}$ が既存のデータ拡張手法と競合するパフォーマンスを達成し、モデルのパフォーマンスを向上させることを示しました。
さらに、$\texttt{MTR}$ が最も効果的である特定のシナリオについて説明し、その適用範囲を特定します。
コードは https://github.com/somaonish/MTR/ で入手できます。

要約(オリジナル)

Tabular data is the most widely used data format in machine learning (ML). While tree-based methods outperform DL-based methods in supervised learning, recent literature reports that self-supervised learning with Transformer-based models outperforms tree-based methods. In the existing literature on self-supervised learning for tabular data, contrastive learning is the predominant method. In contrastive learning, data augmentation is important to generate different views. However, data augmentation for tabular data has been difficult due to the unique structure and high complexity of tabular data. In addition, three main components are proposed together in existing methods: model structure, self-supervised learning methods, and data augmentation. Therefore, previous works have compared the performance without comprehensively considering these components, and it is not clear how each component affects the actual performance. In this study, we focus on data augmentation to address these issues. We propose a novel data augmentation method, $\textbf{M}$ask $\textbf{T}$oken $\textbf{R}$eplacement ($\texttt{MTR}$), which replaces the mask token with a portion of each tokenized column; $\texttt{MTR}$ takes advantage of the properties of Transformer, which is becoming the predominant DL-based architecture for tabular data, to perform data augmentation for each column embedding. Through experiments with 13 diverse public datasets in both supervised and self-supervised learning scenarios, we show that $\texttt{MTR}$ achieves competitive performance against existing data augmentation methods and improves model performance. In addition, we discuss specific scenarios in which $\texttt{MTR}$ is most effective and identify the scope of its application. The code is available at https://github.com/somaonishi/MTR/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google