GPT vs RETRO: Exploring the Intersection of Retrieval and Parameter-Efficient Fine-Tuning

要約

パラメータ効率の良い微調整 (PEFT) と検索拡張生成 (RAG) は、コンピューティング要件を最小限に抑えながら大規模な言語モデルを適応させるための一般的な方法となっています。
この論文では、PEFT 手法 (P チューニング、アダプター、LoRA) を、8 億 2,300 万から 480 億パラメーターの範囲のいくつかのサイズにわたる修正検索拡張トランスフォーマー (RETRO) とベースライン GPT モデルに適用します。
RETRO モデルは、独自の事前トレーニング プロセスにより、ゼロショット設定では GPT モデルよりも優れたパフォーマンスを発揮しますが、PEFT では GPT モデルの方がより高いパフォーマンスの可能性があることを示します。
さらに、私たちの研究は、8B パラメーター モデルがコストとパフォーマンスの間で最適なバランスをとっており、P チューニングが他の PEFT 技術よりも遅れていることを示しています。
さらに、命令調整された RETRO モデルとベース RETRO モデルへの PEFT の適用間の比較分析を提供します。
この研究では、GPT モデルと RETRO モデルの両方に適用され、RAG と統合されたさまざまな PEFT メソッドの包括的な比較を初めて示し、それらの相対的なパフォーマンスを強調しています。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) and Retrieval-Augmented Generation (RAG) have become popular methods for adapting large language models while minimizing compute requirements. In this paper, we apply PEFT methods (P-tuning, Adapters, and LoRA) to a modified Retrieval-Enhanced Transformer (RETRO) and a baseline GPT model across several sizes, ranging from 823 million to 48 billion parameters. We show that RETRO models outperform GPT models in zero-shot settings due to their unique pre-training process but GPT models have higher performance potential with PEFT. Additionally, our study indicates that 8B parameter models strike an optimal balance between cost and performance and P-tuning lags behind other PEFT techniques. We further provide a comparative analysis between applying PEFT to an Instruction-tuned RETRO model and base RETRO model. This work presents the first comprehensive comparison of various PEFT methods integrated with RAG, applied to both GPT and RETRO models, highlighting their relative performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google