Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs

要約

会話型質問応答システムは、自然言語入力から構造化データベースクエリを生成する対話型情報検索を可能にするために、しばしば意味解析に依存している。知識グラフに格納された事実に関する情報を求める会話では、知識ベースの会話型質問応答と呼ばれるプロセスにおいて、対話の発話がグラフクエリに変換される。本稿では、このタスクに対して明示的に事前訓練されていない大規模な言語モデルの性能を評価する。広範なベンチマークデータセットを用いた一連の実験を通して、様々なサイズのモデルを様々なプロンプト技術で比較し、生成された出力に共通する問題タイプを特定する。その結果、大規模な言語モデルでも対話からグラフクエリを生成できることが示され、特にゼロショットの性能が低い小規模なモデルでは、少数ショットのプロンプティングと微調整技術によって大幅な改善が達成可能である。

要約(オリジナル)

Conversational question answering systems often rely on semantic parsing to enable interactive information retrieval, which involves the generation of structured database queries from a natural language input. For information-seeking conversations about facts stored within a knowledge graph, dialogue utterances are transformed into graph queries in a process that is called knowledge-based conversational question answering. This paper evaluates the performance of large language models that have not been explicitly pre-trained on this task. Through a series of experiments on an extensive benchmark dataset, we compare models of varying sizes with different prompting techniques and identify common issue types in the generated output. Our results demonstrate that large language models are capable of generating graph queries from dialogues, with significant improvements achievable through few-shot prompting and fine-tuning techniques, especially for smaller models that exhibit lower zero-shot performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL