Knowledge Injection via Prompt Distillation

要約

多くの実際のアプリケーションでは、大規模言語モデル (LLM) は、トレーニング前のデータには存在しない新しい知識を組み込む必要があります。
このための主な方法は、微調整と検索拡張生成 (RAG) です。
RAG はナレッジ注入の業界標準として浮上していますが、微調整ではまだ同等の成功を収めていません。
この論文では、新しい知識を学習するための新しい微調整手法を提案し、それが RAG のパフォーマンスに到達できることを示します。
提案された方法は、即時蒸留と呼ばれる自己蒸留アプローチに基づいています。
まず、新しい知識に関する質問と回答のペアを生成します。
次に、質問と回答のペアで生徒モデルを微調整して教師モデルの出力分布を模倣し、さらにプロンプ​​トで新しい知識を受け取ります。
生徒モデルは、LoRA アダプターが装備されていることを除いて、教師と同じです。
このトレーニング手順により、教師のプロンプトからの新しい知識を生徒の重みに抽出することが容易になります。

要約(オリジナル)

In many practical applications, large language models (LLMs) need to incorporate new knowledge not present in their pre-training data. The primary methods for this are fine-tuning and retrieval-augmented generation (RAG). Although RAG has emerged as the industry standard for knowledge injection, fine-tuning has not yet achieved comparable success. In this paper, we propose a new fine-tuning technique for learning new knowledge and show that it can reach the performance of RAG. The proposed method is based on the self-distillation approach, which we call prompt distillation. First, we generate question-answer pairs about the new knowledge. Then, we fine-tune a student model on the question-answer pairs to imitate the output distributions of a teacher model, which additionally receives the new knowledge in its prompt. The student model is identical to the teacher, except it is equipped with a LoRA adapter. This training procedure facilitates distilling the new knowledge from the teacher’s prompt into the student’s weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google