Instructed Language Models with Retrievers Are Powerful Entity Linkers

要約

大規模言語モデル（LLM）を利用した生成的アプローチは、複雑な推論能力を必要とするタスクにおいて、創発的な能力を示してきた。しかし、生成的な性質は、生成されたコンテンツを幻覚に苦しめ、したがって、大規模な知識ベース上で正確なエンティティ予測を必要とするエンティティリンク（EL）のようなエンティティ中心のタスクには不向きである。我々は、カジュアルな言語モデルが知識ベース上でエンティティリンクを行うことを可能にする最初のアプローチである、Instructed Generative Entity Linker (INSGENEL)を発表する。(i)命令チューニングを用いたシーケンス間学習EL目的、(ii)重く並列化不可能なデコードからモデルを解放する、軽量なポテンシャル言及リトリーバに基づく新しい生成的ELフレームワーク。INSGENELは、平均で+6.8F1ポイント向上し、以前の生成的選択肢を凌駕し、学習データ効率と学習計算消費量においても大きな優位性を持つ。さらに、我々の巧みに設計されたELのための文脈内学習(ICL)フレームワークは、依然としてINSGENELに大きく遅れをとっており、ELタスクが一般的なLLMにとって依然として根強いハードルであることを再確認している。

要約(オリジナル)

Generative approaches powered by large language models (LLMs) have demonstrated emergent abilities in tasks that require complex reasoning abilities. Yet the generative nature still makes the generated content suffer from hallucinations, thus unsuitable for entity-centric tasks like entity linking (EL) requiring precise entity predictions over a large knowledge base. We present Instructed Generative Entity Linker (INSGENEL), the first approach that enables casual language models to perform entity linking over knowledge bases. Several methods to equip language models with EL capability were proposed in this work, including (i) a sequence-to-sequence training EL objective with instruction-tuning, (ii) a novel generative EL framework based on a light-weight potential mention retriever that frees the model from heavy and non-parallelizable decoding, achieving 4$\times$ speedup without compromise on linking metrics. INSGENEL outperforms previous generative alternatives with +6.8 F1 points gain on average, also with a huge advantage in training data efficiency and training compute consumption. In addition, our skillfully engineered in-context learning (ICL) framework for EL still lags behind INSGENEL significantly, reaffirming that the EL task remains a persistent hurdle for general LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL