RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation

要約

ドキュメントを取得し、推論時にコンテキスト内でドキュメントを先頭に追加すると、幅広いタスクにおける言語モデル (LM) のパフォーマンスが向上します。
ただし、これらの文書は数百語に及ぶことが多く、推論のコストが大幅に高くなります。
私たちは、コンテキスト内で統合する前に、取得した文書をテキストの要約に圧縮することを提案します。
これにより、計算コストが削減されるだけでなく、長い間取得された文書内の関連情報を特定するという LM の負担も軽減されます。
取得した文書から有用な文を選択する抽出的圧縮器と、複数の文書から情報を合成して要約を生成する抽象的圧縮器の 2 つの圧縮器を紹介します。
どちらのコンプレッサーも、要約を簡潔に保ちながら、生成された要約が LM の入力の先頭に追加される場合に、最終タスクでの LM のパフォーマンスを向上させるようにトレーニングされています。取得したドキュメントが入力と無関係であるか、LM に追加情報を提供しない場合、私たちのコンプレッサーは次のことができます。
空の文字列を返し、選択的拡張を実装します。言語モデリング タスクとオープン ドメイン質問応答タスクに対するアプローチを評価します。
どちらのタスクでもパフォーマンスの低下を最小限に抑えながら、6% という低い圧縮率を実現し、既製の要約モデルを大幅に上回ります。
1 つの LM 用にトレーニングされた圧縮器が言語モデリング タスクで他の LM に転送でき、取得したドキュメントにほぼ忠実な要約を提供できることを示します。

要約(オリジナル)

Retrieving documents and prepending them in-context at inference time improves performance of language model (LMs) on a wide range of tasks. However, these documents, often spanning hundreds of words, make inference substantially more expensive. We propose compressing the retrieved documents into textual summaries prior to in-context integration. This not only reduces the computational costs but also relieves the burden of LMs to identify relevant information in long retrieved documents. We present two compressors — an extractive compressor which selects useful sentences from retrieved documents and an abstractive compressor which generates summaries by synthesizing information from multiple documents. Both compressors are trained to improve LMs’ performance on end tasks when the generated summaries are prepended to the LMs’ input, while keeping the summary concise.If the retrieved documents are irrelevant to the input or offer no additional information to LM, our compressor can return an empty string, implementing selective augmentation.We evaluate our approach on language modeling task and open domain question answering task. We achieve a compression rate of as low as 6% with minimal loss in performance for both tasks, significantly outperforming the off-the-shelf summarization models. We show that our compressors trained for one LM can transfer to other LMs on the language modeling task and provide summaries largely faithful to the retrieved documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google