Squeezing Lemons with Hammers: An Evaluation of AutoML and Tabular Deep Learning for Data-Scarce Classification Applications

要約

多くの業界では、サイズの小さい表形式のデータに直面しています。
この低データ領域では、単純なベースラインから最高のパフォーマンスが期待できるのか、それともメタ学習とアンサンブルを活用したより複雑な機械学習アプローチから期待できるのかは現時点では不明です。
サンプルサイズ $\leq$ 500 の 44 の表形式分類データセットでは、L2 正規化ロジスティック回帰が最先端の自動機械学習 (AutoML) フレームワーク (AutoPrognosis、AutoGluon) や既製のフレームワークと同様に機能することがわかりました。
大部分のベンチマーク データセット上のディープ ニューラル ネットワーク (TabPFN、HyperFast)。
したがって、表形式データを使用するデータ不足のアプリケーションの最初の選択肢としてロジスティック回帰を検討し、さらに手法を選択するためのベスト プラクティスを実務者に提供することをお勧めします。

要約(オリジナル)

Many industry verticals are confronted with small-sized tabular data. In this low-data regime, it is currently unclear whether the best performance can be expected from simple baselines, or more complex machine learning approaches that leverage meta-learning and ensembling. On 44 tabular classification datasets with sample sizes $\leq$ 500, we find that L2-regularized logistic regression performs similar to state-of-the-art automated machine learning (AutoML) frameworks (AutoPrognosis, AutoGluon) and off-the-shelf deep neural networks (TabPFN, HyperFast) on the majority of the benchmark datasets. We therefore recommend to consider logistic regression as the first choice for data-scarce applications with tabular data and provide practitioners with best practices for further method selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google