HyperTab: Hypernetwork Approach for Deep Learning on Small Tabular Datasets

要約

深層学習は、コンピューター ビジョンや自然言語処理などの多くの分野で目覚ましいパフォーマンスを達成していますが、表形式のデータセットに対する従来の浅い手法と比較した利点には疑問が残ります。
小規模なデータセット (サンプル数が 1,000 未満) で、XGBoost やランダム フォレストなどのツリー状アンサンブルのパフォーマンスを超えることは特に困難です。
この課題に取り組むために、表形式のデータセット上の小さなサンプル問題を解決するためのハイパーネットワーク ベースのアプローチである HyperTab を導入します。
ランダム フォレストとニューラル ネットワークの利点を組み合わせることで、HyperTab はニューラル ネットワークのアンサンブルを生成します。各ターゲット モデルは、データの特定の低次元ビューを処理するように特化されています。
各ビューはデータ拡張の役割を果たすため、トレーニング可能なパラメーターの数を変更せずにトレーニング サンプルの数を仮想的に増やし、モデルの過剰適合を防ぎます。
私たちは、さまざまな数のサンプルと元のドメインの 40 以上の表形式データセットで HyperTab を評価し、そのパフォーマンスを現在の最先端の浅い学習モデルと深い学習モデルと比較しました。
HyperTab は、小規模なデータでは常に他の手法を上回り (統計的に有意な差がある)、より大きなデータセットでは同等のスコアを獲得することを示します。
https://pypi.org/project/hypertab/ からダウンロードできるコードを含む Python パッケージを作成します。

要約(オリジナル)

Deep learning has achieved impressive performance in many domains, such as computer vision and natural language processing, but its advantage over classical shallow methods on tabular datasets remains questionable. It is especially challenging to surpass the performance of tree-like ensembles, such as XGBoost or Random Forests, on small-sized datasets (less than 1k samples). To tackle this challenge, we introduce HyperTab, a hypernetwork-based approach to solving small sample problems on tabular datasets. By combining the advantages of Random Forests and neural networks, HyperTab generates an ensemble of neural networks, where each target model is specialized to process a specific lower-dimensional view of the data. Since each view plays the role of data augmentation, we virtually increase the number of training samples while keeping the number of trainable parameters unchanged, which prevents model overfitting. We evaluated HyperTab on more than 40 tabular datasets of a varying number of samples and domains of origin, and compared its performance with shallow and deep learning models representing the current state-of-the-art. We show that HyperTab consistently outranks other methods on small data (with a statistically significant difference) and scores comparable to them on larger datasets. We make a python package with the code available to download at https://pypi.org/project/hypertab/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google