WDC Products: A Multi-Dimensional Entity Matching Benchmark

要約

エンティティ マッチング タスクの難易度は、コーナーケース ペアの量、テスト セット内のトレーニング中に表示されなかったエンティティの割合、開発セットのサイズなどの複数の要因の組み合わせによって決まります。
現在のエンティティ マッチング ベンチマークは通常、そのような次元に沿った空間内の単一点を表すか、単一の次元 (たとえばトレーニング データの量) に沿ったマッチング方法の評価を提供します。
このペーパーでは、実世界のデータに依存しながら、3 次元の組み合わせに沿ったマッチング システムの体系的な評価を提供するエンティティ マッチング ベンチマークである WDC Products について説明します。
3 つの次元とは、(i) 例外的なケースの量、(ii) 目に見えないエンティティへの一般化、および (iii) 開発セットのサイズ (トレーニング セットと検証セット) です。
目に見えないエンティティへの一般化は、既存の英語ベンチマークではまだカバーされていない次元ですが、エンティティ マッチング システムの堅牢性を評価するためには重要です。
エンティティのペアを照合する方法を学習する代わりに、エンティティの照合を、マッチャーが個々のエンティティを認識することを必要とするマルチクラス分類タスクとして定式化することもできます。
WDC 製品は、同じタスクのペアごとの複数クラスの定式化を提供する最初のベンチマークです。
当社は、Ditto、HierGAT、R-SupCon など、いくつかの最先端のマッチング システムを使用して WDC 製品を評価します。
評価では、すべてのマッチング システムがさまざまな程度で目に見えないエンティティと格闘していることがわかります。
また、エンティティ マッチングの場合、クロス エンコーダーと比較して、対照学習の方がトレーニング データの効率が高いことも示しています。

要約(オリジナル)

The difficulty of an entity matching task depends on a combination of multiple factors such as the amount of corner-case pairs, the fraction of entities in the test set that have not been seen during training, and the size of the development set. Current entity matching benchmarks usually represent single points in the space along such dimensions or they provide for the evaluation of matching methods along a single dimension, for instance the amount of training data. This paper presents WDC Products, an entity matching benchmark which provides for the systematic evaluation of matching systems along combinations of three dimensions while relying on real-world data. The three dimensions are (i) amount of corner-cases (ii) generalization to unseen entities, and (iii) development set size (training set plus validation set). Generalization to unseen entities is a dimension not covered by any of the existing English-language benchmarks yet but is crucial for evaluating the robustness of entity matching systems. Instead of learning how to match entity pairs, entity matching can also be formulated as a multi-class classification task that requires the matcher to recognize individual entities. WDC Products is the first benchmark that provides a pair-wise and a multi-class formulation of the same tasks. We evaluate WDC Products using several state-of-the-art matching systems, including Ditto, HierGAT, and R-SupCon. The evaluation shows that all matching systems struggle with unseen entities to varying degrees. It also shows that for entity matching contrastive learning is more training data efficient compared to cross-encoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google