Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

要約

タイトル：Lift Yourself Up：自己メモリを用いたリトリーバル増強型テキスト生成

要約：
– メモリを用いた生成は、テキスト生成の様々なタスクで多くの進歩を遂げている。
– 以前の研究では、より良いメモリを回復するために主に焦点が当てられてきた。
– しかし、限られた回収空間によって一定の限界が存在し、メモリに潜在的な制限がある。
– そこで、この論文では、生成がより良くなることで、メモリもより良くなることを提案し、Selfmemというフレームワークを提案する。
– Selfmemは、リトリーバル増強型ジェネレータ自体を反復的に採用して、非制限のメモリプールを生成し、メモリセレクタを使用して、次の生成ラウンドのために生成された1つのメモリを選択する。
– 元問題と双対問題を組み合わせることにより、リトリーバル増強型ジェネレーションモデルは、無限の生成空間で自分自身の出力を利用して自らを向上させることができる。
– 多様なテキスト生成シナリオで、JRC-Acquis（4つの方向）、XSum（50.3 ROUGE-1）、BigPatent（62.9 ROUGE-1）を含む7つのデータセットで実験を行い、最先端の結果を得た。

要約(オリジナル)

With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem), previous works mainly focus on how to retrieve better memory. However, one fundamental limitation exists for current literature: the memory is retrieved from a fixed corpus and is bounded by the quality of the corpus. Due to the finite retrieval space, bounded memory would greatly limit the potential of the memory-augmented generation model. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a framework called Selfmem, which iteratively adopts a retrieval-augmented generator itself to generate an unbounded memory pool and uses a memory selector to pick one generated memory for the next generation round. By combining the primal and dual problem, a retrieval-augmented generation model could lift itself up with its own output in the infinite generation space. To verify our framework, we conduct extensive experiments across various text generation scenarios including neural machine translation, abstractive summarization and dialogue generation over seven datasets and achieve state-of-the-art results in JRC-Acquis(four directions), XSum(50.3 ROUGE-1) and BigPatent(62.9 ROUGE-1).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI