Evaluating Generative Models for Tabular Data: Novel Metrics and Benchmarking

要約

生成モデルは複数のドメインに革命をもたらしましたが、表形式データへの適用は露出度の低いままです。
表形式データの生成モデルを評価することは、構造的な複雑さ、大規模な変動性、および混合データ型のために独自の課題を提示し、複雑なパターンを直感的にキャプチャすることを困難にします。
既存の評価メトリックは、部分的な洞察のみを提供し、生成パフォーマンスの包括的な尺度がありません。
この制限に対処するために、FAED、FPCAD、およびRFIの3つの新しい評価指標を提案します。
3つの標準ネットワーク侵入検出データセットで実施された広範な実験分析は、これらのメトリックを忠実度、ユーティリティ、TSTR、TRTなどの確立された評価方法と比較します。
私たちの結果は、FAEDが既存のメトリックによって見落とされている生成モデリングの問題を効果的にキャプチャすることを示しています。
FPCADは有望なパフォーマンスを示していますが、信頼性を高めるにはさらなる改良が必要です。
提案されたフレームワークは、表形式データアプリケーションで生成モデルを評価するための堅牢で実用的なアプローチを提供します。

要約(オリジナル)

Generative models have revolutionized multiple domains, yet their application to tabular data remains underexplored. Evaluating generative models for tabular data presents unique challenges due to structural complexity, large-scale variability, and mixed data types, making it difficult to intuitively capture intricate patterns. Existing evaluation metrics offer only partial insights, lacking a comprehensive measure of generative performance. To address this limitation, we propose three novel evaluation metrics: FAED, FPCAD, and RFIS. Our extensive experimental analysis, conducted on three standard network intrusion detection datasets, compares these metrics with established evaluation methods such as Fidelity, Utility, TSTR, and TRTS. Our results demonstrate that FAED effectively captures generative modeling issues overlooked by existing metrics. While FPCAD exhibits promising performance, further refinements are necessary to enhance its reliability. Our proposed framework provides a robust and practical approach for assessing generative models in tabular data applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google