Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts

要約

大規模な言語モデルの時代では、検索拡張生成などの技術を適用すると、オープンドメインの質問応答の問題にうまく対処できます。
モデルのサイズやコンピューティング リソースなどの制約により、コンテキストの長さは制限されることが多く、オープン ドメインからの質問に答えながら、モデルが長すぎるコンテキストをカバーできるようにすることが困難になります。
この論文では、オープンドメインの質問応答タスクで長いコンテキストをカバーするための一般的で便利な方法を提案します。
コンテキストを効果的にエンコードする小規模なエンコーダー言語モデルを活用し、エンコーディングはオリジン入力とのクロスアテンションを適用します。
私たちの方法を使用すると、元の言語モデルはコンピューティング要件をベースラインに近づけながら、数倍長いコンテキストをカバーできます。
私たちの実験では、微調整後、2 つの保持されたデータセット、4 つの保持されたデータセット、さらに 2 つのインコンテキスト学習設定でパフォーマンスが向上したことを示しています。

要約(オリジナル)

In the era of large language models, applying techniques such as Retrieval Augmented Generation can better address Open-Domain Question-Answering problems. Due to constraints including model sizes and computing resources, the length of context is often limited, and it becomes challenging to empower the model to cover overlong contexts while answering questions from open domains. This paper proposes a general and convenient method to covering longer contexts in Open-Domain Question-Answering tasks. It leverages a small encoder language model that effectively encodes contexts, and the encoding applies cross-attention with origin inputs. With our method, the origin language models can cover several times longer contexts while keeping the computing requirements close to the baseline. Our experiments demonstrate that after fine-tuning, there is improved performance across two held-in datasets, four held-out datasets, and also in two In Context Learning settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google