Using Large Language Models for Knowledge Engineering (LLMKE): A Case Study on Wikidata

要約

この研究では、ISWC 2023 LM-KBC Challenge のコンテキストで、ナレッジ エンジニアリング タスクにおける大規模言語モデル (LLM) の使用を検討します。
このタスクでは、ウィキデータから取得したサブジェクトとリレーションのペアを前提として、事前トレーニングされた LLM を利用して、関連するオブジェクトを文字列形式で生成し、それらをそれぞれのウィキデータ QID にリンクします。
私たちは、ナレッジ プローブと Wikidata エンティティ マッピングを組み合わせた、LLMs for Knowledge Engineering (LLMKE) を使用したパイプラインを開発しました。
この方法では、プロパティ全体でマクロ平均 F1 スコア 0.701 が達成され、スコアの範囲は 1.00 ～ 0.328 でした。
これらの結果は、LLM の知識がドメインに応じて大きく異なること、および知識ベース (ウィキデータなど) の自動補完と修正に LLM を使用できる状況を決定するには、さらなる実験が必要であることを示しています。
結果の調査は、共同知識エンジニアリングにおける LLM の有望な貢献も示唆しています。
LLMKE がチャレンジのトラック 2 で優勝しました。
実装は https://github.com/bohuizhang/LLMKE で入手できます。

要約(オリジナル)

In this work, we explore the use of Large Language Models (LLMs) for knowledge engineering tasks in the context of the ISWC 2023 LM-KBC Challenge. For this task, given subject and relation pairs sourced from Wikidata, we utilize pre-trained LLMs to produce the relevant objects in string format and link them to their respective Wikidata QIDs. We developed a pipeline using LLMs for Knowledge Engineering (LLMKE), combining knowledge probing and Wikidata entity mapping. The method achieved a macro-averaged F1-score of 0.701 across the properties, with the scores varying from 1.00 to 0.328. These results demonstrate that the knowledge of LLMs varies significantly depending on the domain and that further experimentation is required to determine the circumstances under which LLMs can be used for automatic Knowledge Base (e.g., Wikidata) completion and correction. The investigation of the results also suggests the promising contribution of LLMs in collaborative knowledge engineering. LLMKE won Track 2 of the challenge. The implementation is available at https://github.com/bohuizhang/LLMKE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google