SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation

要約

知識ベースの質問生成 (KBQG) は、KB から抽出された一連のトリプレット ファクトから自然言語の質問を生成することを目的としています。
既存の方法では、豊富なセマンティック知識のおかげで、事前トレーニングされた言語モデル (PLM) を介して KBQG のパフォーマンスが大幅に向上しました。
事前トレーニング技術の進歩により、大規模言語モデル (LLM) (GPT-3.5 など) は間違いなく、より多くの意味論的な知識を保有します。
したがって、KBQG の豊富な知識をどのように効果的に整理して活用するかが、私たちの研究の焦点になります。
この研究では、KBQG を強化するためにスケルトン ヒューリスティックで GPT-3.5 を刺激するためのシンプルで効果的なフレームワークである SGSH を提案します。
このフレームワークには「スケルトン ヒューリスティック」が組み込まれており、各入力に関連付けられたよりきめ細かいガイダンスを提供して、LLM が質問フレーズや助動詞などの重要な要素を含む最適な質問を生成するよう刺激します。より具体的には、次のことを活用した自動データ構築戦略を考案します。
ChatGPT を使用してスケルトン トレーニング データセットを構築し、それに基づいてソフト プロンプト アプローチを採用して、各入力に関連付けられたスケルトンの生成専用の BART モデルをトレーニングします。
その後、スケルトン ヒューリスティックがプロンプトにエンコードされ、GPT-3.5 が目的の質問を生成するようにインセンティブが与えられます。
広範な実験により、SGSH が KBQG タスクで新しい最先端のパフォーマンスを導き出すことが実証されました。

要約(オリジナル)

Knowledge base question generation (KBQG) aims to generate natural language questions from a set of triplet facts extracted from KB. Existing methods have significantly boosted the performance of KBQG via pre-trained language models (PLMs) thanks to the richly endowed semantic knowledge. With the advance of pre-training techniques, large language models (LLMs) (e.g., GPT-3.5) undoubtedly possess much more semantic knowledge. Therefore, how to effectively organize and exploit the abundant knowledge for KBQG becomes the focus of our study. In this work, we propose SGSH–a simple and effective framework to Stimulate GPT-3.5 with Skeleton Heuristics to enhance KBQG. The framework incorporates ‘skeleton heuristics’, which provides more fine-grained guidance associated with each input to stimulate LLMs to generate optimal questions, encompassing essential elements like the question phrase and the auxiliary verb.More specifically, we devise an automatic data construction strategy leveraging ChatGPT to construct a skeleton training dataset, based on which we employ a soft prompting approach to train a BART model dedicated to generating the skeleton associated with each input. Subsequently, skeleton heuristics are encoded into the prompt to incentivize GPT-3.5 to generate desired questions. Extensive experiments demonstrate that SGSH derives the new state-of-the-art performance on the KBQG tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google