Using ChatGPT for Entity Matching

要約

エンティティ マッチングは、2 つのエンティティの説明が同じ現実世界のエンティティを参照しているかどうかを判断するタスクです。
最先端のエンティティ マッチング手法は、多くの場合、BERT や RoBERTa などの微調整された Transformer モデルに依存しています。
これらのモデルをエンティティ マッチングに使用する場合の 2 つの主な欠点は、(i) モデルが良好なパフォーマンスを達成するには大量の微調整データを必要とすること、および (ii) 微調整されたモデルが分布外のエンティティに関して堅牢でないことです。
このペーパーでは、従来の Transformer モデルに代わる、より堅牢でトレーニング データ効率の高い代替手段として、エンティティ マッチングに ChatGPT を使用する方法を調査します。
私たちは、(i) 一般的なプロンプト設計、(ii) コンテキスト内学習、および (iii) より高いレベルのマッチング知識の提供という 3 つの側面に沿って実験を実行します。
ChatGPT が微調整された RoBERTa モデルと競合し、RoBERTa が同様のパフォーマンスに達するには 2000 のトレーニング サンプルを必要とする困難なマッチング タスクで 82.35% F1 のゼロショット パフォーマンスに達することを示します。
プロンプトにコンテキスト内のデモンストレーションを追加すると、類似性に基づくサンプル選択を使用する場合、F1 が最大 7.85% 向上します。
厳選した 10 個のデモンストレーションからなる同じセットを常に使用すると、ゼロショットのパフォーマンスと比較して 4.92% の向上が得られます。
最後に、ChatGPT は、プロンプトにルールの形式で高レベルの一致知識を追加することによってもガイドできることを示します。
一致ルールを提供すると、コンテキスト内のデモンストレーションを提供する場合と同様のパフォーマンスの向上が得られます。

要約(オリジナル)

Entity Matching is the task of deciding if two entity descriptions refer to the same real-world entity. State-of-the-art entity matching methods often rely on fine-tuning Transformer models such as BERT or RoBERTa. Two major drawbacks of using these models for entity matching are that (i) the models require significant amounts of fine-tuning data for reaching a good performance and (ii) the fine-tuned models are not robust concerning out-of-distribution entities. In this paper, we investigate using ChatGPT for entity matching as a more robust, training data-efficient alternative to traditional Transformer models. We perform experiments along three dimensions: (i) general prompt design, (ii) in-context learning, and (iii) provision of higher-level matching knowledge. We show that ChatGPT is competitive with a fine-tuned RoBERTa model, reaching a zero-shot performance of 82.35% F1 on a challenging matching task on which RoBERTa requires 2000 training examples for reaching a similar performance. Adding in-context demonstrations to the prompts further improves the F1 by up to 7.85% when using similarity-based example selection. Always using the same set of 10 handpicked demonstrations leads to an improvement of 4.92% over the zero-shot performance. Finally, we show that ChatGPT can also be guided by adding higher-level matching knowledge in the form of rules to the prompts. Providing matching rules leads to similar performance gains as providing in-context demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google