Context Generation Improves Open Domain Question Answering

要約

タイトル: コンテキスト生成によるオープンドメインの質問応答の改善

要約:

– 閉書式の質問応答は、外部の知識にアクセスすることなく、オープンドメインの質問に直接答える必要がある。
– 閉書式のQAに関する以前の研究では、事前学習された言語モデル（LM）を微調整するか、プロンプトを使用して格納された知識を利用する方法が使用されていました。しかし、これらの手法は、パラメータ化された知識を十分に活用できていない。
– この問題を解決するために、本研究では、2段階の閉書式QAフレームワークを提案しています。この手法は、関連する知識を抽出して質問に答えるための粗粒度から細粒度へのアプローチを採用しています。
– この手法は、事前学習されたLMに対して関連するコンテキストを生成することで開始されます。次に、生成されたコンテキストと質問をプロンプトに利用して、同じLMに回答予測を促します。
– 実験の結果、この手法は先行研究に比べて大幅に性能が上がり、外部の知識源を活用する開書式の手法に勝るものになっています。さらに、この手法は、学習可能なパラメータを追加することなく、事前学習されたLMに蓄積された知識をよりよく活用することができます。

要約(オリジナル)

Closed-book question answering (QA) requires a model to directly answer an open-domain question without access to any external knowledge. Prior work on closed-book QA either directly finetunes or prompts a pretrained language model (LM) to leverage the stored knowledge. However, they do not fully exploit the parameterized knowledge. To address this issue, we propose a two-stage, closed-book QA framework which employs a coarse-to-fine approach to extract relevant knowledge and answer a question. Our approach first generates a related context for a given question by prompting a pretrained LM. We then prompt the same LM for answer prediction using the generated context and the question. Additionally, to eliminate failure caused by context uncertainty, we marginalize over generated contexts. Experimental results on three QA benchmarks show that our method significantly outperforms previous closed-book QA methods (e.g. exact matching 68.6% vs. 55.3%), and is on par with open-book methods that exploit external knowledge sources (e.g. 68.6% vs. 68.0%). Our method is able to better exploit the stored knowledge in pretrained LMs without adding extra learnable parameters or needing finetuning, and paves the way for hybrid models that integrate pretrained LMs with external knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI