TabReD: A Benchmark of Tabular Machine Learning in-the-Wild

要約

下流のアプリケーション シナリオを厳密に反映したベンチマークは、表形式の機械学習 (ML) における新しい研究を効率的に導入するために不可欠です。
この研究では、既存の表形式のベンチマークを調査し、学術コミュニティが利用できるデータセットでは過小評価されている業界グレードの表形式データに共通する 2 つの特徴を発見しました。
まず、実際の展開シナリオでは、表形式のデータは時間の経過とともに変化することがよくあります。
これはモデルのパフォーマンスに影響し、モデルを正しく評価するには時間ベースのトレーニングとテストの分割が必要になります。
しかし、既存の学術表形式データセットには、そのような評価を可能にするタイムスタンプ メタデータが欠けていることがよくあります。
第 2 に、運用環境のデータセットのか​​なりの部分は、広範なデータ取得と特徴エンジニアリング パイプラインから生じています。
これは、特定のデータセットごとに、予測機能、非情報機能、および相関機能の絶対数と相対数に異なる影響を与える可能性があり、それがモデルの選択に影響を与える可能性があります。
学術ベンチマークにおける前述のギャップを埋めるために、金融から食品配達サービスまで幅広い領域をカバーする 8 つの業界グレードの表形式データセットのコレクションである TabReD を紹介します。
TabReD によって促進される機能豊富で時間的に進化するデータ設定で、多数の表形式 ML モデルを評価します。
学術ベンチマークで一般的なランダム分割での評価と比較して、時間ベースのデータ分割での評価が異なる方法のランキングにつながることを実証します。
さらに、TabReD データセットでは、MLP のようなアーキテクチャと GBDT が最良の結果を示していますが、より洗練された DL モデルはその有効性がまだ証明されていません。

要約(オリジナル)

Benchmarks that closely reflect downstream application scenarios are essential for the streamlined adoption of new research in tabular machine learning (ML). In this work, we examine existing tabular benchmarks and find two common characteristics of industry-grade tabular data that are underrepresented in the datasets available to the academic community. First, tabular data often changes over time in real-world deployment scenarios. This impacts model performance and requires time-based train and test splits for correct model evaluation. Yet, existing academic tabular datasets often lack timestamp metadata to enable such evaluation. Second, a considerable portion of datasets in production settings stem from extensive data acquisition and feature engineering pipelines. For each specific dataset, this can have a different impact on the absolute and relative number of predictive, uninformative, and correlated features, which in turn can affect model selection. To fill the aforementioned gaps in academic benchmarks, we introduce TabReD — a collection of eight industry-grade tabular datasets covering a wide range of domains from finance to food delivery services. We assess a large number of tabular ML models in the feature-rich, temporally-evolving data setting facilitated by TabReD. We demonstrate that evaluation on time-based data splits leads to different methods ranking, compared to evaluation on random splits more common in academic benchmarks. Furthermore, on the TabReD datasets, MLP-like architectures and GBDT show the best results, while more sophisticated DL models are yet to prove their effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google