Surface-Based Retrieval Reduces Perplexity of Retrieval-Augmented Language Models

要約

検索メカニズムを使用して言語モデルを強化すると、パラメーターの数を低く抑えながらパフォーマンスが大幅に向上することが示されています。
検索拡張モデルは一般に、クエリ チャンクの密な表現と潜在的な近傍の間の類似性に基づいたセマンティック検索メカニズムに依存します。
この論文では、最先端の Retro モデルを研究し、そのパフォーマンスの向上がトークンの重複などの表面レベルの類似性によってよりよく説明されることを観察しました。
これに触発されて、私たちは Retro の意味検索を BM25 に基づく表面レベルの方法に置き換え、混乱を大幅に軽減しました。
大規模なデータセットの場合、完全な BM25 取得は計算コストが高くなる可能性があるため、再ランキング シナリオにも適用して、最小限の計算オーバーヘッドで複雑さの軽減の一部を実現します。

要約(オリジナル)

Augmenting language models with a retrieval mechanism has been shown to significantly improve their performance while keeping the number of parameters low. Retrieval-augmented models commonly rely on a semantic retrieval mechanism based on the similarity between dense representations of the query chunk and potential neighbors. In this paper, we study the state-of-the-art Retro model and observe that its performance gain is better explained by surface-level similarities, such as token overlap. Inspired by this, we replace the semantic retrieval in Retro with a surface-level method based on BM25, obtaining a significant reduction in perplexity. As full BM25 retrieval can be computationally costly for large datasets, we also apply it in a re-ranking scenario, gaining part of the perplexity reduction with minimal computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google