Tabular Data Adapters: Improving Outlier Detection for Unlabeled Private Data

要約

ディープラーニングアプローチの顕著な成功は、多くの場合、大規模なパブリックデータセットに基づいて実証されています。
ただし、そのようなアプローチを内部のプライベートデータセットに適用する場合、データセットの構造的な違い、ドメインシフト、およびラベルの欠如から生じる課題に頻繁に直面します。
この作業では、アウトサイレット検出タスクでラベル付けされていない表形式データのソフトラベルを生成するための新しい方法である表形式データアダプター（TDA）を紹介します。
統計的に類似したパブリックデータセットを識別し、（共有自動エンコーダーに基づく）プライベートデータを最先端のパブリックモデルと互換性のある形式に変換することにより、このアプローチは弱いラベルの生成を可能にします。
これにより、パブリックデータセットの既存の外れ値検出モデルに基づいて、ラベル付けのコールドスタートの問題を軽減するのに役立ちます。
異なるドメインの50の表形式データセットでの実験では、計算時間を短縮しながら、ベースラインアプローチよりも正確な注釈を提供できることを実証します。
当社のアプローチは、公共研究モデルと現実世界の産業用途とのギャップを埋めるために、スケーラブルで効率的で費用対効果の高いソリューションを提供します。

要約(オリジナル)

The remarkable success of Deep Learning approaches is often based and demonstrated on large public datasets. However, when applying such approaches to internal, private datasets, one frequently faces challenges arising from structural differences in the datasets, domain shift, and the lack of labels. In this work, we introduce Tabular Data Adapters (TDA), a novel method for generating soft labels for unlabeled tabular data in outlier detection tasks. By identifying statistically similar public datasets and transforming private data (based on a shared autoencoder) into a format compatible with state-of-the-art public models, our approach enables the generation of weak labels. It thereby can help to mitigate the cold start problem of labeling by basing on existing outlier detection models for public datasets. In experiments on 50 tabular datasets across different domains, we demonstrate that our method is able to provide more accurate annotations than baseline approaches while reducing computational time. Our approach offers a scalable, efficient, and cost-effective solution, to bridge the gap between public research models and real-world industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google