Causality for Tabular Data Synthesis: A High-Order Structure Causal Benchmark Framework

要約

表形式の合成モデルは、複雑な依存関係を把握するのに依然として効果的ではなく、合成データの品質は、分布の変化に伴う予測、自動化された意思決定、テーブル間の理解などの包括的な下流タスクには依然として不十分です。
大きな課題は、表形式データの基礎となる構造と高次の関係についての事前知識が不足していることです。
私たちは、表形式データ合成のための高次構造情報の体系的な評価が問題解決への第一歩であると主張します。
この論文では、自然な事前知識として高次構造因果情報を導入し、表形式合成モデルの評価のためのベンチマーク フレームワークを提供します。
このフレームワークを使用すると、柔軟な範囲のデータ生成プロセスでベンチマーク データセットを生成し、これらのデータセットを使用して表形式の合成モデルをトレーニングしてさらなる評価を行うことができます。
トレーニング済みモデルによって生成された合成データの品質を評価するための下流タスクとして、複数のベンチマーク タスク、高次メトリクス、および因果推論タスクを提案します。
私たちの実験は、高次の構造因果情報を取得するモデルの機能を評価するためのベンチマーク フレームワークを活用していることを示しています。
さらに、ベンチマーク結果は、最先端の表形式合成モデルの初期評価を提供します。
彼らは、理想的なパフォーマンスと実際のパフォーマンスの間に大きなギャップがあり、ベースラインメソッドがどのように異なるかを明らかに明らかにしました。
私たちのベンチマーク フレームワークは、URL https://github.com/TURuibo/CauTabBench で入手できます。

要約(オリジナル)

Tabular synthesis models remain ineffective at capturing complex dependencies, and the quality of synthetic data is still insufficient for comprehensive downstream tasks, such as prediction under distribution shifts, automated decision-making, and cross-table understanding. A major challenge is the lack of prior knowledge about underlying structures and high-order relationships in tabular data. We argue that a systematic evaluation on high-order structural information for tabular data synthesis is the first step towards solving the problem. In this paper, we introduce high-order structural causal information as natural prior knowledge and provide a benchmark framework for the evaluation of tabular synthesis models. The framework allows us to generate benchmark datasets with a flexible range of data generation processes and to train tabular synthesis models using these datasets for further evaluation. We propose multiple benchmark tasks, high-order metrics, and causal inference tasks as downstream tasks for evaluating the quality of synthetic data generated by the trained models. Our experiments demonstrate to leverage the benchmark framework for evaluating the model capability of capturing high-order structural causal information. Furthermore, our benchmarking results provide an initial assessment of state-of-the-art tabular synthesis models. They have clearly revealed significant gaps between ideal and actual performance and how baseline methods differ. Our benchmark framework is available at URL https://github.com/TURuibo/CauTabBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google