Small Language Models Improve Giants by Rewriting Their Outputs

要約

大規模言語モデル (LLM) は優れたパフォーマンスを発揮しますが、さまざまなタスクにおいて特殊なモデルに遅れることがよくあります。
LLM はコンテキスト内学習に既存のトレーニング データの一部のみを使用しますが、タスク固有のモデルは微調整にデータセット全体を利用します。
この研究では、微調整を行わずにトレーニング データを活用して LLM のパフォーマンスを向上させるという問題に取り組みます。
私たちのアプローチは、重みへのアクセスを必要とせずに、LLM 予測を直接ターゲットにしています。
少数ショット プロンプトを通じて LLM から候補のプールを作成し、これらの候補をマージして強化された出力を生成するように特別にトレーニングされたコンパクト モデルである LM コレクター (LMCor) を採用します。
4 つの自然言語生成タスクに関する実験では、小規模な LMCor モデル (250M) であっても、LLM (62B) の数ショットのパフォーマンスが大幅に向上し、標準の微調整に匹敵し、さらにはそれを上回るパフォーマンスを示すことが実証されました。
さらに、さまざまなプロンプトに対する LMCor の堅牢性を示し、それによって大規模なプロンプト エンジニアリングの必要性を最小限に抑えます。
最後に、LMCor が推論時にさまざまな LLM とシームレスに統合でき、パフォーマンスを向上させるプラグ アンド プレイ モジュールとして機能することを示します。

要約(オリジナル)

Despite the impressive performance of large language models (LLMs), they often lag behind specialized models in various tasks. LLMs only use a fraction of the existing training data for in-context learning, while task-specific models harness the full dataset for fine-tuning. In this work, we tackle the problem of leveraging training data to improve the performance of LLMs without fine-tuning. Our approach directly targets LLM predictions without requiring access to their weights. We create a pool of candidates from the LLM through few-shot prompting and we employ a compact model, the LM-corrector (LMCor), specifically trained to merge these candidates to produce an enhanced output. Our experiments on four natural language generation tasks demonstrate that even a small LMCor model (250M) substantially improves the few-shot performance of LLMs (62B), matching and even outperforming standard fine-tuning. Furthermore, we illustrate the robustness of LMCor against different prompts, thereby minimizing the need for extensive prompt engineering. Finally, we show that LMCor can be seamlessly integrated with different LLMs at inference, serving as a plug-and-play module to improve their performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google