Synthetic Tabular Data Validation: A Divergence-Based Approach

要約

表形式データが使用されるさまざまな分野で生成モデルの使用が増え続けているため、実際のデータと合成データの類似性を評価するための堅牢で標準化された検証メトリクスの必要性が浮き彫りになっています。
現在の手法には統一されたフレームワークが欠如しており、多様で、多くの場合決定的ではない統計的尺度に依存しています。
データ分布間の相違を定量化するダイバージェンスは、検証のための有望な手段を提供します。
ただし、従来のアプローチでは、結合分布モデリングの複雑さのため、フィーチャごとに発散を個別に計算します。
この論文では、発散推定を使用して周辺比較の制限を克服する新しいアプローチを提案することで、この課題に対処します。
私たちの主な貢献は、実際のデータと合成データの同時分布を考慮した検証メトリクスを構築するために発散推定量を適用することにあります。
確率的分類器を利用してデータセット間の密度比を近似し、複雑な関係を把握できるようにします。
特に、よく知られているカルバック・ライブラー (KL) 発散とジェンセン・シャノン (JS) 発散の 2 つの発散を計算します。
KL ダイバージェンスは現場で確立された使用法を提供しますが、JS ダイバージェンスは対称的かつ制限されており、信頼性の高いメトリクスを提供します。
このアプローチの有効性は、さまざまな分布の複雑さを用いた一連の実験を通じて実証されています。
最初のフェーズでは、推定された発散を単純な分布の分析ソリューションと比較し、精度のベンチマークを設定します。
最後に、実世界のデータセットとそれに対応する合成対応物でメソッドを検証し、実際のアプリケーションでの有効性を示します。
この研究は、表形式データを超えた適用可能性と、さまざまな分野での合成データの検証を改善する可能性により、多大な貢献をもたらします。

要約(オリジナル)

The ever-increasing use of generative models in various fields where tabular data is used highlights the need for robust and standardized validation metrics to assess the similarity between real and synthetic data. Current methods lack a unified framework and rely on diverse and often inconclusive statistical measures. Divergences, which quantify discrepancies between data distributions, offer a promising avenue for validation. However, traditional approaches calculate divergences independently for each feature due to the complexity of joint distribution modeling. This paper addresses this challenge by proposing a novel approach that uses divergence estimation to overcome the limitations of marginal comparisons. Our core contribution lies in applying a divergence estimator to build a validation metric considering the joint distribution of real and synthetic data. We leverage a probabilistic classifier to approximate the density ratio between datasets, allowing the capture of complex relationships. We specifically calculate two divergences: the well-known Kullback-Leibler (KL) divergence and the Jensen-Shannon (JS) divergence. KL divergence offers an established use in the field, while JS divergence is symmetric and bounded, providing a reliable metric. The efficacy of this approach is demonstrated through a series of experiments with varying distribution complexities. The initial phase involves comparing estimated divergences with analytical solutions for simple distributions, setting a benchmark for accuracy. Finally, we validate our method on a real-world dataset and its corresponding synthetic counterpart, showcasing its effectiveness in practical applications. This research offers a significant contribution with applicability beyond tabular data and the potential to improve synthetic data validation in various fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google