Zero-shot Outlier Detection via Prior-data Fitted Networks: Model Selection Bygone!

要約

外れ値検出 (OD) には、環境モニタリング、サイバーセキュリティ、金融、医療などに数多くの応用例があり、膨大な文献があります。
モデルの選択は本質的に教師なしのタスクであるため、ラベルの教師なしでの OD (アルゴリズムとハイパーパラメーターの選択の両方) の主要なボトルネックになります。
古典的なアルゴリズムとディープ ニューラル アーキテクチャの両方から選択できる技術の長いリストがあり、いくつかの研究でハイパーパラメータの感度が報告されていますが、教師なしモデルの選択に関する文献は非常に少なく、実際の OD の効果的な使用は制限されています。
この論文では、モデル選択のハードルを完全に回避し (!)、新境地を開拓する革新的な新しい方向性を模索するゼロ/0 ショット OD 用の FoMo-0D を紹介します。
FoMo-0D の背後にある基本的なアイデアは、Muller et al.(2022) によって最近導入された事前データ適合ネットワークです。これは、以前のデータ分布から合成的に生成された大量のデータに対して Transformer モデルをトレーニングします。
本質的に、FoMo-0D は表形式データ上のゼロ/0 ショット OD 用の事前トレーニングされた基礎モデルであり、推論時に単一の前方パスによってテスト データの (外れ値/内値) ラベルを直接予測できます。
新しい OD データセットが与えられた場合、アルゴリズム/アーキテクチャの選択、関連するハイパーパラメーターの調整、さらにはモデル パラメーターのトレーニングの必要性がなくなりました。
26 のベースライン手法に対する 57 の公開ベンチマーク データセットに対する広範な実験により、FoMo-0D のパフォーマンスは統計的には上位 2 番目のベースラインと変わらないものの、大部分のベースラインを大幅に上回り、テスト サンプルあたりの平均推論時間は 7.7 ミリ秒であることがわかりました。

要約(オリジナル)

Outlier detection (OD) has a vast literature as it finds numerous applications in environmental monitoring, cybersecurity, finance, and medicine to name a few. Being an inherently unsupervised task, model selection is a key bottleneck for OD (both algorithm and hyperparameter selection) without label supervision. There is a long list of techniques to choose from — both classical algorithms and deep neural architectures — and while several studies report their hyperparameter sensitivity, the literature is quite slim on unsupervised model selection — limiting the effective use of OD in practice. In this paper we present FoMo-0D, for zero/0-shot OD exploring a transformative new direction that bypasses the hurdle of model selection altogether (!), thus breaking new ground. The fundamental idea behind FoMo-0D is the Prior-data Fitted Networks, recently introduced by Muller et al.(2022), which trains a Transformer model on a large body of synthetically generated data from a prior data distribution. In essence, FoMo-0D is a pretrained Foundation Model for zero/0-shot OD on tabular data, which can directly predict the (outlier/inlier) label of any test data at inference time, by merely a single forward pass — making obsolete the need for choosing an algorithm/architecture, tuning its associated hyperparameters, and even training any model parameters when given a new OD dataset. Extensive experiments on 57 public benchmark datasets against 26 baseline methods show that FoMo-0D performs statistically no different from the top 2nd baseline, while significantly outperforming the majority of the baselines, with an average inference time of 7.7 ms per test sample.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google