Something’s Fishy In The Data Lake: A Critical Re-evaluation of Table Union Search Benchmarks

要約

最近のテーブル表現学習およびデータ発見方法は、データレイク内のテーブルユニオン検索（TUS）に取り組んでいます。
これらの方法は、実際のTUSタスクでの意味的理解を評価することを目的とするベンチマークを使用して一般的に評価されます。
しかし、顕著なTUSベンチマークの分析により、単純なベースラインが驚くほどうまく機能し、より洗練されたアプローチを上回ることができるいくつかの制限が明らかになります。
これは、現在のベンチマークスコアがデータセット固有の特性に大きく影響され、セマンティック理解から利益を効果的に分離できないことを示唆しています。
これに対処するために、セマンティックテーブルユニオン検索の進捗状況のより現実的で信頼できる評価を可能にするために、将来のベンチマークの重要な基準を提案します。

要約(オリジナル)

Recent table representation learning and data discovery methods tackle table union search (TUS) within data lakes, which involves identifying tables that can be unioned with a given query table to enrich its content. These methods are commonly evaluated using benchmarks that aim to assess semantic understanding in real-world TUS tasks. However, our analysis of prominent TUS benchmarks reveals several limitations that allow simple baselines to perform surprisingly well, often outperforming more sophisticated approaches. This suggests that current benchmark scores are heavily influenced by dataset-specific characteristics and fail to effectively isolate the gains from semantic understanding. To address this, we propose essential criteria for future benchmarks to enable a more realistic and reliable evaluation of progress in semantic table union search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google