LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models

要約

大規模言語モデル (LLM) の出現により、自然言語処理の分野に革命が起こり、さまざまなアプリケーションで大きな進歩が可能になりました。
重要な関心領域の 1 つは、これらの強力なモデルを使用したナレッジ ベース (KB) の構築です。
ナレッジ ベースは構造化された情報のリポジトリとして機能し、情報の検索と推論タスクを容易にします。
私たちの論文では、Llama 2 アーキテクチャと Wikipedia データセットに焦点を当て、大規模な言語モデルを使用して知識ベースを構築するシステムである LLM2KB を提案します。
低ランク適応 (LoRA) 手法を使用して、ベース モデルのパラメーターの 0.05 % のみを持つ小規模な注入モデルをトレーニングすることにより、Llama-2-13b-chat および StableBeluga-13B のパラメーター効率の高い命令チューニングを実行します。
これらの注入モデルは、Dense Passage Retrieval (DPR) アルゴリズムを使用して取得された主題エンティティの Wikipedia ページ コンテキストを利用して、特定の主題エンティティと関係に関連するオブジェクト エンティティに応答するように設計されたプロンプトを使用してトレーニングされています。
私たちの最高のパフォーマンスのモデルは、ISWC 2023 カンファレンスで開催された LM-KBC チャレンジで 21 の関係全体で平均 F1 スコア 0.6185 を達成しました。

要約(オリジナル)

The advent of Large Language Models (LLM) has revolutionized the field of natural language processing, enabling significant progress in various applications. One key area of interest is the construction of Knowledge Bases (KB) using these powerful models. Knowledge bases serve as repositories of structured information, facilitating information retrieval and inference tasks. Our paper proposes LLM2KB, a system for constructing knowledge bases using large language models, with a focus on the Llama 2 architecture and the Wikipedia dataset. We perform parameter efficient instruction tuning for Llama-2-13b-chat and StableBeluga-13B by training small injection models that have only 0.05 % of the parameters of the base models using the Low Rank Adaptation (LoRA) technique. These injection models have been trained with prompts that are engineered to utilize Wikipedia page contexts of subject entities fetched using a Dense Passage Retrieval (DPR) algorithm, to answer relevant object entities for a given subject entity and relation. Our best performing model achieved an average F1 score of 0.6185 across 21 relations in the LM-KBC challenge held at the ISWC 2023 conference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google