Leveraging LLMs in Scholarly Knowledge Graph Question Answering

要約

この論文では、大規模言語モデル (LLM) を活用して書誌的な自然言語の質問に数回で回答する、学術的なナレッジ グラフ質問応答 (KGQA) を紹介します。
このモデルは最初に、BERT ベースの文エンコーダーを介して、特定のテスト問題に関連する上位 n 個の類似したトレーニング質問を識別し、それらに対応する SPARQL を取得します。
上位 n 個の類似した質問と SPARQL のペアを例として使用し、テスト質問を使用すると、プロンプトが作成されます。
次に、プロンプトを LLM に渡し、SPARQL を生成します。
最後に、基礎となる KG – ORKG (Open Research KG) エンドポイントに対して SPARQL を実行し、回答を返します。
当社のシステムは、Scholarly-QALD-23 チャレンジ ベンチマークの 1 つである SciQA で 99.0% の F1 スコアを達成しました。

要約(オリジナル)

This paper presents a scholarly Knowledge Graph Question Answering (KGQA) that answers bibliographic natural language questions by leveraging a large language model (LLM) in a few-shot manner. The model initially identifies the top-n similar training questions related to a given test question via a BERT-based sentence encoder and retrieves their corresponding SPARQL. Using the top-n similar question-SPARQL pairs as an example and the test question creates a prompt. Then pass the prompt to the LLM and generate a SPARQL. Finally, runs the SPARQL against the underlying KG – ORKG (Open Research KG) endpoint and returns an answer. Our system achieves an F1 score of 99.0%, on SciQA – one of the Scholarly-QALD-23 challenge benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google