GPT vs RETRO: Exploring the Intersection of Retrieval and Parameter-Efficient Fine-Tuning

要約

PEFT（Parameter-Efficient Fine-Tuning）とRAG（Retrieval-Augmented Generation）は、計算量を最小限に抑えながら大規模な言語モデルを適応させるための手法として普及している。本稿では、PEFT手法（P-tuning、Adapters、LoRA）を、8億2,300万から480億のパラメータにわたる複数のサイズにわたって、修正RETRO（Retrieval-Enhanced Transformer）とベースラインGPTモデルに適用する。我々は、RETROモデルが、そのユニークな事前学習プロセスにより、ゼロショット設定においてGPTモデルを上回るが、GPTモデルはPEFTでより高い性能を発揮する可能性があることを示す。さらに、我々の研究は、8Bパラメータモデルがコストと性能の最適なバランスをとり、P-tuningが他のPEFT手法に遅れをとることを示している。さらに、インストラクションチューニングされたRETROモデルとベースRETROモデルにPEFTを適用した場合の比較分析も行った。この研究は、GPTとRETROモデルの両方に適用された、RAGと統合された様々なPEFT手法の最初の包括的な比較を提示し、それらの相対的な性能を強調している。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) and Retrieval-Augmented Generation (RAG) have become popular methods for adapting large language models while minimizing compute requirements. In this paper, we apply PEFT methods (P-tuning, Adapters, and LoRA) to a modified Retrieval-Enhanced Transformer (RETRO) and a baseline GPT model across several sizes, ranging from 823 million to 48 billion parameters. We show that RETRO models outperform GPT models in zero-shot settings due to their unique pre-training process but GPT models have higher performance potential with PEFT. Additionally, our study indicates that 8B parameter models strike an optimal balance between cost and performance and P-tuning lags behind other PEFT techniques. We further provide a comparative analysis of between applying PEFT to an Instruction-tuned RETRO model and base RETRO model. This work presents the first comprehensive comparison of various PEFT methods integrated with RAG, applied to both GPT and RETRO models, highlighting their relative performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL