RA-DIT: Retrieval-Augmented Dual Instruction Tuning

要約

検索補強型言語モデル（RALM）は、外部のデータストアからロングテールかつ最新の知識にアクセスすることで性能を向上させるが、その構築は困難である。既存のアプローチでは、LMの事前学習に高価な検索固有の修正を必要とするか、データストアの事後的な統合を使用するため、最適な性能が得られない。我々は、検索機能を持つLLMに後付けすることで、第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。この手法は、2つの異なる微調整ステップで動作する：(1)一つは事前に訓練されたLMを更新して、検索された情報をより良く利用するようにし、(2)もう一つはLMが好むような、より関連性の高い結果を返すように検索器を更新する。知識活用と文脈認識の両方を必要とするタスクで微調整を行うことで、各ステージで性能が大幅に向上し、両方を使用することでさらなる向上が得られることを実証した。我々の最良のモデルであるRA-DIT 65Bは、知識集約的な0ショットおよび数ショットの学習ベンチマークにおいて最先端の性能を達成し、0ショット設定では最大+8.9%、5ショット設定では平均+1.4%と、既存の文脈内RALMアプローチを大幅に上回る。

要約(オリジナル)

Retrieval-augmented language models (RALMs) improve performance by accessing long-tail and up-to-date knowledge from external data stores, but are challenging to build. Existing approaches require either expensive retrieval-specific modifications to LM pre-training or use post-hoc integration of the data store that leads to suboptimal performance. We introduce Retrieval-Augmented Dual Instruction Tuning (RA-DIT), a lightweight fine-tuning methodology that provides a third option by retrofitting any LLM with retrieval capabilities. Our approach operates in two distinct fine-tuning steps: (1) one updates a pre-trained LM to better use retrieved information, while (2) the other updates the retriever to return more relevant results, as preferred by the LM. By fine-tuning over tasks that require both knowledge utilization and contextual awareness, we demonstrate that each stage yields significant performance improvements, and using both leads to additional gains. Our best model, RA-DIT 65B, achieves state-of-the-art performance across a range of knowledge-intensive zero- and few-shot learning benchmarks, significantly outperforming existing in-context RALM approaches by up to +8.9% in 0-shot setting and +1.4% in 5-shot setting on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL