Recitation-Augmented Language Models

要約

RECITation-augmented gEneration (RECITE) と呼ばれる、Large Language Models (LLM) が外部コーパスから取得することなく、より正確な事実に関する知識を生成できるようにする新しいパラダイムを提案します。
出力を生成する前に関連文書を検索する検索拡張言語モデルとは異なり、RECITE は、入力が与えられると、最初にサンプリングによって LLM 自身の記憶から 1 つまたは複数の関連する文章を引用し、次に最終的な回答を生成します。
RECITE が知識集約型 NLP タスクの強力なパラダイムであることを示します。
具体的には、暗唱を中間ステップとして利用することにより、暗唱と回答のスキームが、さまざまなクローズドブックの質問応答 (CBQA) タスクで新しい最先端のパフォーマンスを達成できることを示します。
実験では、4 つの事前トレーニング済みモデル (PaLM、UL2、OPT、および Codex) と 3 つの CBQA タスク (Natural Questions、TriviaQA、および HotpotQA) に対する \method~ の有効性を検証します。
コードは「https://github.com/Edward-Sun/RECITE」で入手できます。

要約(オリジナル)

We propose a new paradigm to help Large Language Models (LLMs) generate more accurate factual knowledge without retrieving from an external corpus, called RECITation-augmented gEneration (RECITE). Different from retrieval-augmented language models that retrieve relevant documents before generating the outputs, given an input, RECITE first recites one or several relevant passages from LLMs’ own memory via sampling, and then produces the final answers. We show that RECITE is a powerful paradigm for knowledge-intensive NLP tasks. Specifically, we show that by utilizing recitation as the intermediate step, a recite-and-answer scheme can achieve new state-of-the-art performance in various closed-book question answering (CBQA) tasks. In experiments, we verify the effectiveness of \method~on four pre-trained models (PaLM, UL2, OPT, and Codex) and three CBQA tasks (Natural Questions, TriviaQA, and HotpotQA). Our code is available at ‘https://github.com/Edward-Sun/RECITE’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google