In-Context Learning for Knowledge Base Question Answering for Unmanned Systems based on Large Language Models

要約

Knowledge Base Question Answering (KBQA) は、知識ベースに基づいて事実に関する質問に答えることを目的としています。
ただし、自然言語質問 (NLQ) に基づいて最も適切なナレッジ ベース クエリ コードを生成することは、KBQA において大きな課題となります。
この研究では、無人システムのナレッジグラフ推論による質問応答の CCKS2023 コンペティションに焦点を当てます。
多くの QA タスクにおける ChatGPT や GPT-3 のような大規模言語モデル (LLM) の最近の成功に触発され、指定された NLQ に基づいて最適な CQL を生成する ChatGPT ベースの暗号クエリ言語 (CQL) 生成フレームワークを提案します。
私たちの生成フレームワークには、指定された NLQ に基づいて CQL の構文関連情報を予測する補助モデル、指定された NLQ から固有名詞を抽出する固有名詞マッチャー、入力サンプルの類似の例を取得するデモンストレーション例セレクター、プロンプトの 6 つの部分が含まれています。
ChatGPTの入力テンプレート、CQLを生成するChatGPTベースの生成モデル、多様な出力から最終的な答えを得るアンサンブルモデルを設計するコンストラクター。
ChatGPT ベースの CQL 生成フレームワークを使用して、CCKS 2023 Question Answering with Knowledge Graph Inference for Unmanned Systems コンペティションで 2 位となり、F1 スコア 0.92676 を達成しました。

要約(オリジナル)

Knowledge Base Question Answering (KBQA) aims to answer factoid questions based on knowledge bases. However, generating the most appropriate knowledge base query code based on Natural Language Questions (NLQ) poses a significant challenge in KBQA. In this work, we focus on the CCKS2023 Competition of Question Answering with Knowledge Graph Inference for Unmanned Systems. Inspired by the recent success of large language models (LLMs) like ChatGPT and GPT-3 in many QA tasks, we propose a ChatGPT-based Cypher Query Language (CQL) generation framework to generate the most appropriate CQL based on the given NLQ. Our generative framework contains six parts: an auxiliary model predicting the syntax-related information of CQL based on the given NLQ, a proper noun matcher extracting proper nouns from the given NLQ, a demonstration example selector retrieving similar examples of the input sample, a prompt constructor designing the input template of ChatGPT, a ChatGPT-based generation model generating the CQL, and an ensemble model to obtain the final answers from diversified outputs. With our ChatGPT-based CQL generation framework, we achieved the second place in the CCKS 2023 Question Answering with Knowledge Graph Inference for Unmanned Systems competition, achieving an F1-score of 0.92676.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google