Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models

要約

大規模言語モデル (LLM) は急速に進歩し、優れた機能を実証しています。
In-Context Learning (ICL) と Parameter-Efficient Fine-Tuning (PEFT) は、現在、LLM を下流タスクに拡張するための 2 つの主流の方法です。
ICL は通常、手動で、または検索拡張生成 (RAG) システムをセットアップすることによって、数ショットの学習シナリオを構築し、モデル パラメーターを変更せずにモデルがドメイン知識や質問応答パターンを迅速に把握できるようにします。
ただし、このアプローチには、推論速度の低下や占有スペースの増加などのトレードオフが伴います。
PEFT は、最小限のパラメーター変更を通じてモデルがタスクに適応するのを支援しますが、トレーニング プロセスには、関係するパラメーターの数が少ない場合でも、依然として高いハードウェア要件が要求されます。
これらの課題に対処するために、私たちは、モデルを微調整せずに新しいタスクに迅速に適応させ、低い推論コストを維持できるパラダイムである Reference Trustable Decoding (RTD) を提案します。
RTD は、提供されたトレーニング サンプルから参照データストアを構築し、入力に基づいて適切な参照を柔軟に選択することで LLM の最終的な語彙分布を最適化します。その結果、より信頼性の高い応答が得られ、モデルが低コストで下流のタスクに適応できるようになります。
さまざまなベンチマークを使用したさまざまな LLM の実験評価は、RTD が下流タスクへのモデルを拡張するための新しいパラダイムを確立することを示しています。
さらに、私たちの方法は従来の方法と強い直交性を示し、同時使用が可能です。
私たちのコードは https://github.com/ShiLuohe/ReferenceTrustableDecoding にあります。

要約(オリジナル)

Large language models (LLMs) have rapidly advanced and demonstrated impressive capabilities. In-Context Learning (ICL) and Parameter-Efficient Fine-Tuning (PEFT) are currently two mainstream methods for augmenting LLMs to downstream tasks. ICL typically constructs a few-shot learning scenario, either manually or by setting up a Retrieval-Augmented Generation (RAG) system, helping models quickly grasp domain knowledge or question-answering patterns without changing model parameters. However, this approach involves trade-offs, such as slower inference speed and increased space occupancy. PEFT assists the model in adapting to tasks through minimal parameter modifications, but the training process still demands high hardware requirements, even with a small number of parameters involved. To address these challenges, we propose Reference Trustable Decoding (RTD), a paradigm that allows models to quickly adapt to new tasks without fine-tuning, maintaining low inference costs. RTD constructs a reference datastore from the provided training examples and optimizes the LLM’s final vocabulary distribution by flexibly selecting suitable references based on the input, resulting in more trustable responses and enabling the model to adapt to downstream tasks at a low cost. Experimental evaluations on various LLMs using different benchmarks demonstrate that RTD establishes a new paradigm for augmenting models to downstream tasks. Furthermore, our method exhibits strong orthogonality with traditional methods, allowing for concurrent usage. Our code can be found at https://github.com/ShiLuohe/ReferenceTrustableDecoding

arxiv情報

提供元, 利用サービス

arxiv.jp, Google