Fine-tuning Large Language Models for Entity Matching

要約

生成大規模言語モデル (LLM) は、高いゼロショット パフォーマンスと、目に見えないエンティティに一般化する機能により、エンティティ マッチング用の事前トレーニング済み言語モデルの有望な代替手段です。
エンティティ照合に LLM を使用することに関する既存の研究は、迅速なエンジニアリングとコンテキスト内学習に焦点を当ててきました。
このペーパーでは、エンティティ マッチングのための LLM の微調整の可能性を検討します。
私たちは 2 つの次元に沿って微調整を分析します。1) トレーニング サンプルの表現。LLM によって生成されたさまざまなタイプの説明をトレーニング セットに追加して実験します。2) LLM を使用したトレーニング サンプルの選択と生成。
ソース データセットでのマッチング パフォーマンスに加えて、微調整が他のドメイン内データセットやトピック ドメイン全体に一般化するモデルの能力にどのような影響を与えるかを調査します。
私たちの実験では、微調整により小規模モデルのパフォーマンスが大幅に向上する一方、大規模モデルの結果はまちまちであることがわかりました。
微調整により、ドメイン間の転送が損なわれる一方で、ドメイン内データセットへの一般化も改善されます。
トレーニングセットに構造化された説明を追加すると、4 つのうち 3 つの LLM のパフォーマンスにプラスの影響がある一方、提案されたサンプルの選択と生成方法は Llama 3.1 8B のパフォーマンスを向上させるだけで、GPT-4o Mini のパフォーマンスは低下することを示します。

要約(オリジナル)

Generative large language models (LLMs) are a promising alternative to pre-trained language models for entity matching due to their high zero-shot performance and their ability to generalize to unseen entities. Existing research on using LLMs for entity matching has focused on prompt engineering and in-context learning. This paper explores the potential of fine-tuning LLMs for entity matching. We analyze fine-tuning along two dimensions: 1) The representation of training examples, where we experiment with adding different types of LLM-generated explanations to the training set, and 2) the selection and generation of training examples using LLMs. In addition to the matching performance on the source dataset, we investigate how fine-tuning affects the model’s ability to generalize to other in-domain datasets as well as across topical domains. Our experiments show that fine-tuning significantly improves the performance of the smaller models while the results for the larger models are mixed. Fine-tuning also improves the generalization to in-domain datasets while hurting cross-domain transfer. We show that adding structured explanations to the training set has a positive impact on the performance of three out of four LLMs, while the proposed example selection and generation methods only improve the performance of Llama 3.1 8B while decreasing the performance of GPT-4o Mini.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google