Generative Benchmark Creation for Table Union Search

要約

データ管理は従来、TPC スイートのような構造化ベンチマークを生成する合成データ ジェネレーターに依存していました。これにより、データ サイズやその分布などの重要なパラメーターを正確に制御できます。
これらのベンチマークは、データベース管理システムの成功と導入の中心となりました。
しかし、データ管理の問題はセマンティックな性質のものになることが増えています。
重要な例は、結合できるテーブルを見つけることです。
同じカーディナリティを持つ 2 つのテーブルを結合することができますが、テーブル結合検索では、結合が意味的に一貫しているテーブルを見つけることが問題になります。
セマンティックな問題は、合成データを使用してベンチマークすることはできません。
ベンチマークを作成するための現在の方法には、実際のデータの手動によるキュレーションとラベル付けが含まれます。
これらの手法は堅牢でもスケーラブルでもありません。そしておそらくさらに重要なのは、作成されたベンチマークがどの程度堅牢であるかが明らかでないことです。
生成 AI モデルを使用して、テーブル結合検索用の構造化データ ベンチマークを作成することを提案します。
生成モデルを使用して、指定されたプロパティを持つテーブルを作成する新しい方法を紹介します。
この方法を使用して、結合可能および非結合であるが関連するテーブルのペアを含む新しいベンチマークを作成します。
私たちは、既存のベンチマークと新しいベンチマークを比較して、最近の既存のテーブル結合検索方法を徹底的に評価します。
また、すべてのベンチマークにわたって、最近の大規模言語モデルに基づいた新しいテーブル検索方法を提示し、評価します。
新しいベンチマークは、すべての手法において手動で厳選されたベンチマークよりも困難であることを示します。具体的には、最高のパフォーマンスを示す手法は、約 60% の平均平均精度を達成しており、手動で作成された既存のベンチマークのパフォーマンスよりも 30% 以上低いことがわかります。
なぜそうなるのかを検証し、新しいベンチマークでは、既存のベンチマークでは不可能だった偽陽性と偽陰性の両方の研究を含む、手法のより詳細な分析が可能であることを示します。

要約(オリジナル)

Data management has traditionally relied on synthetic data generators to generate structured benchmarks, like the TPC suite, where we can control important parameters like data size and its distribution precisely. These benchmarks were central to the success and adoption of database management systems. But more and more, data management problems are of a semantic nature. An important example is finding tables that can be unioned. While any two tables with the same cardinality can be unioned, table union search is the problem of finding tables whose union is semantically coherent. Semantic problems cannot be benchmarked using synthetic data. Our current methods for creating benchmarks involve the manual curation and labeling of real data. These methods are not robust or scalable and perhaps more importantly, it is not clear how robust the created benchmarks are. We propose to use generative AI models to create structured data benchmarks for table union search. We present a novel method for using generative models to create tables with specified properties. Using this method, we create a new benchmark containing pairs of tables that are both unionable and non-unionable but related. We thoroughly evaluate recent existing table union search methods over existing benchmarks and our new benchmark. We also present and evaluate a new table search methods based on recent large language models over all benchmarks. We show that the new benchmark is more challenging for all methods than hand-curated benchmarks, specifically, the top-performing method achieves a Mean Average Precision of around 60%, over 30% less than its performance on existing manually created benchmarks. We examine why this is the case and show that the new benchmark permits more detailed analysis of methods, including a study of both false positives and false negatives that were not possible with existing benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google