Prompting Large Language Models with Chain-of-Thought for Few-Shot Knowledge Base Question Generation

要約

Knowledge Bases による質問生成 (KBQG) のタスクは、論理形式を自然言語の質問に変換することを目的としています。
大規模な質問アノテーションのコストが高額になるため、リソースが少ないシナリオでの KBQG の方法を早急に開発する必要があります。
ただし、現在の方法は微調整のために注釈付きデータに大きく依存しているため、数回の質問の生成にはあまり適していません。
大規模言語モデル (LLM) の出現により、数回のタスクでその優れた汎化能力が示されました。
推論のためのコンテキスト内学習戦略である思考連鎖 (CoT) プロンプトにヒントを得て、KBQG タスクを推論問題として定式化します。このタスクでは、完全な質問の生成が一連のサブ質問の生成に分割されます。
私たちが提案するプロンプト手法 KQG-CoT は、まず、論理形式の特性を考慮して、ラベルなしデータ プールからサポート論理形式を取得します。
次に、選択したデモンストレーションに基づいて複雑な質問を生成する推論チェーンを明示するためのプロンプトを作成します。
迅速な品質をさらに確保するために、論理形式を複雑さによって分類することにより、KQG-CoT を KQG-CoT+ に拡張します。
私たちは 3 つの公開 KBQG データセットに対して広範な実験を実施しています。
結果は、評価されたデータセットにおいて、私たちのプロンプト手法が他のプロンプトベースラインよりも一貫して優れていることを示しています。
注目すべきことに、私たちの KQG-CoT+ メソッドは、PathQuestions データセットの既存の少数ショット SoTA 結果を、BLEU-4、METEOR、および ROUGE-L でそれぞれ 18.25、10.72、および 10.18 絶対ポイント上回りました。

要約(オリジナル)

The task of Question Generation over Knowledge Bases (KBQG) aims to convert a logical form into a natural language question. For the sake of expensive cost of large-scale question annotation, the methods of KBQG under low-resource scenarios urgently need to be developed. However, current methods heavily rely on annotated data for fine-tuning, which is not well-suited for few-shot question generation. The emergence of Large Language Models (LLMs) has shown their impressive generalization ability in few-shot tasks. Inspired by Chain-of-Thought (CoT) prompting, which is an in-context learning strategy for reasoning, we formulate KBQG task as a reasoning problem, where the generation of a complete question is splitted into a series of sub-question generation. Our proposed prompting method KQG-CoT first retrieves supportive logical forms from the unlabeled data pool taking account of the characteristics of the logical form. Then, we write a prompt to explicit the reasoning chain of generating complicated questions based on the selected demonstrations. To further ensure prompt quality, we extend KQG-CoT into KQG-CoT+ via sorting the logical forms by their complexity. We conduct extensive experiments over three public KBQG datasets. The results demonstrate that our prompting method consistently outperforms other prompting baselines on the evaluated datasets. Remarkably, our KQG-CoT+ method could surpass existing few-shot SoTA results of the PathQuestions dataset by 18.25, 10.72, and 10.18 absolute points on BLEU-4, METEOR, and ROUGE-L, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google