Self-Prompting Large Language Models for Zero-Shot Open-Domain QA

要約

オープンドメイン質問応答 (ODQA) は、特定の背景文書を明示的に提供することなく、事実に関する質問に答えることを目的としています。
ゼロショット設定では、Retriever-Readers のようなカスタマイズされたモデルをトレーニングするために利用できるデータがないため、このタスクはより困難になります。
最近、GPT-3 のようなラージ言語モデル (LLM) は、直接プロンプト方式を使用したゼロショット ODQA でその威力を発揮していますが、これらの方式は、暗黙的に呼び出す方法だけで LLM の強力な機能を完全に解放するにはまだ程遠いです。
この論文では、LLM のパラメータに保存された膨大な知識とその強力な命令理解能力を明示的に利用するための自己プロンプト フレームワークを提案します。
具体的には、背景の文章と説明を含む複数の疑似 QA ペアを最初から生成するよう LLM に段階的に促し、生成された要素をコンテキスト内学習に使用します。
実験結果は、私たちの手法が、広く使用されている 3 つの ODQA データセットで以前の SOTA 手法を大幅に上回り、完全なトレーニング データで微調整された一部の Retriever-Reader モデルでも同等のパフォーマンスを達成することを示しています。

要約(オリジナル)

Open-Domain Question Answering (ODQA) aims at answering factoid questions without explicitly providing specific background documents. In a zero-shot setting, this task is more challenging since no data is available to train customized models like Retriever-Readers. Recently, Large Language Models (LLMs) like GPT-3 have shown their power in zero-shot ODQA with direct prompting methods, but these methods are still far from releasing the full powerfulness of LLMs only in an implicitly invoking way. In this paper, we propose a Self-Prompting framework to explicitly utilize the massive knowledge stored in the parameters of LLMs and their strong instruction understanding abilities. Concretely, we prompt LLMs step by step to generate multiple pseudo QA pairs with background passages and explanations from scratch and then use those generated elements for in-context learning. Experimental results show our method surpasses previous SOTA methods significantly on three widely-used ODQA datasets, and even achieves comparable performance with some Retriever-Reader models fine-tuned on full training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google