Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation

要約

強力なクローズドソース LLM (ChatGPT、GPT-4) の台頭により、クローズソース LLM の機能をより小規模なオープンソース LLM に抽出することへの関心が高まっています。
以前の蒸留メソッドでは、通常、学生モデルが学習できるように、ChatGPT に一連の指示と回答を生成するよう求められます。
ただし、このような標準的な蒸留アプローチでは、スチューデント モデルの利点と条件が無視されます。
現代の教育原則に触発され、私たちは個人に合わせた蒸留プロセスを設計します。このプロセスでは、生徒が最初に課題を解決しようとし、次に教師が生徒の改善に合わせて適応的に改良を加えます。
パーソナライズされた蒸留により、教師の事前説明を生徒に与えるのではなく、生徒モデルのパーソナライズされた学習が可能になります。これは、生徒モデルが間違いを犯した例のみを学習し、独自の解決策を改善するために学習するためです。
コード生成では、パーソナライズされた蒸留は、わずか 3 分の 1 のデータで、標準の蒸留よりも一貫して優れたパフォーマンスを示します。
4 ～ 6 ドルのデータ収集コストがかかるパーソナライズされたサンプルは 2.5 ～ 3,000 個だけですが、CodeGen-mono-16B を 7% 向上させて 36.4% pass@1 を達成し、StarCoder を 12.2% 向上させて 45.8% pass@1 を達成しました。
HumanEval。

要約(オリジナル)

With the rise of powerful closed-sourced LLMs (ChatGPT, GPT-4), there are increasing interests in distilling the capabilies of close-sourced LLMs to smaller open-sourced LLMs. Previous distillation methods usually prompt ChatGPT to generate a set of instructions and answers, for the student model to learn. However, such standard distillation approach neglects the merits and conditions of the student model. Inspired by modern teaching principles, we design a personalised distillation process, in which the student attempts to solve a task first, then the teacher provides an adaptive refinement for the student to improve. Instead of feeding the student with teacher’s prior, personalised distillation enables personalised learning for the student model, as it only learns on examples it makes mistakes upon and learns to improve its own solution. On code generation, personalised distillation consistently outperforms standard distillation with only one third of the data. With only 2.5-3K personalised examples that incur a data-collection cost of 4-6$, we boost CodeGen-mono-16B by 7% to achieve 36.4% pass@1 and StarCoder by 12.2% to achieve 45.8% pass@1 on HumanEval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google