Multi-Method Self-Training: Improving Code Generation With Text, And Vice Versa

要約

大規模言語モデルには、同じ問題を解決するための多くの方法があります。
これにより、新たな長所 (問題ごとに異なる方法がうまく機能する可能性がある) と短所 (ユーザーがどの方法を使用するかを知るのが難しい場合がある) が明らかになります。
このペーパーでは、マルチメソッド セルフ トレーニング (MMST) を紹介します。MMST では、あるメソッドがフィルター処理された別のメソッドの出力でトレーニングされ、各メソッドの長所を強化し、短所を改善することができます。
言語とコードの両方でトレーニングされた 176B パラメーター モデルを使用して、MMST が 1) パフォーマンスの低いメソッド (最大 30%) を改善してモデルを使いやすくし、2) パフォーマンスの高いメソッド (最大 32.2%) を改善してモデルのパフォーマンスを向上させ、3) モデルの理論的根拠を生成する能力を向上させることで、関連しているが別個のタスクのパフォーマンスを改善 (最大 10.3%) できることを示します。
次に、アブレーション分析を実施して、MMST が機能する理由を探ります。
MMST は従来の自己トレーニングよりも多くのデータを生成しますが、パフォーマンスの向上は複数の方法の使用によって促進されることを示します。
また、MMST をより効果的にする手段として、プロンプトエンジニアリングと手法間の逆相関パフォーマンスも分析します。
私たちの論文の証拠が、機械学習研究者に、言語モデルの進歩によって新しい形式のトレーニングを可能にする方法を探求する動機を与えることを願っています。

要約(オリジナル)

Large Language Models have many methods for solving the same problem. This introduces novel strengths (different methods may work well for different problems) and weaknesses (it may be difficult for users to know which method to use). In this paper, we introduce Multi-Method Self-Training (MMST), where one method is trained on the filtered outputs of another, allowing us to augment the strengths and ameliorate the weaknesses of each method. Using a 176B parameter model trained on both language and code, we show that MMST can 1) improve the less performant method (up to 30%) making the model easier to use, 2) improve the more performant method (up to 32.2%) making the model more performant, and 3) improve the performance of related but distinct tasks (up to 10.3%) by improving the ability of the model to generate rationales. We then conduct ablation analyses to explore why MMST works. We show that MMST generates more data than traditional self-training, but the improvement in performance is driven by the use of multiple methods. We also analyze prompt-engineering and anti-correlated performance between methods as means of making MMST more effective. We hope the evidence from our paper motivates machine learning researchers to explore ways in which advances in language models allow for new forms of training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google