LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

要約

エンティティ リンク (EL) モデルは、指定されたコンテキストに従ってメンションを対応するエンティティにマッピングする際に十分にトレーニングされています。
ただし、EL モデルはトレーニング データが限られているため、ロングテール エンティティを明確にするのが困難です。
一方、大規模言語モデル (LLM) は、珍しい言及の解釈においてはより堅牢です。
しかし、専門的なトレーニングが不足しているため、LLM は正しいエンティティ ID を生成するのに苦労しています。
さらに、EL を実行するために LLM をトレーニングするにはコストがかかります。
これらの洞察に基づいて、LLM データ拡張を通じてエンティティ リンクを強化するためのプラグ アンド プレイ アプローチである LLM 拡張エンティティ リンク LLMAEL を紹介します。
私たちは LLM を知識豊富なコンテキスト拡張ツールとして活用し、タスク固有の処理のために従来の EL モデルを維持しながら、言及中心の説明を追加入力として生成します。
6 つの標準データセットでの実験では、ほとんどの場合、バニラ LLMAEL がベースライン EL モデルよりも優れたパフォーマンスを示し、微調整された LLMAEL が 6 つのベンチマークすべてにわたって新しい最先端の結果を設定したことが示されています。

要約(オリジナル)

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google