Show Me How It’s Done: The Role of Explanations in Fine-Tuning Language Models

要約

私たちの研究は、言語モデルのパフォーマンスを向上させるために説明付きの微調整を使用することの大きな利点を示しています。
モデルのパラメーターを維持するプロンプトとは異なり、微調整により、モデルはトレーニング段階でパラメーターを学習して更新できます。
この研究では、単に答えを提示するのではなく、出力の説明を含むデータを使用して、さまざまなサイズの言語モデルに微調整を適用しました。
私たちは、パラメーターが 6,000 万程度の小規模な言語モデルでも、このアプローチから大きな恩恵を受けることがわかりました。
興味深いことに、私たちの結果は、詳細な説明は大きなモデルよりも小さなモデルの方が有益であり、後者はその長さに関係なく、どのような形式の説明からもほぼ同じ利点が得られることを示しました。
さらに、説明を含めることで、説明なしでは解決できなかったタスクをモデルが解決できることを示します。
最後に、説明を追加するという困難な性質にもかかわらず、説明を含むサンプルはトレーニングに必要なデータ量を削減するだけでなく、モデルによるより効果的な汎化を促進すると主張します。
本質的に、私たちの調査結果は、説明による微調整が大規模な言語モデルのパフォーマンスを大幅に向上させることを示唆しています。

要約(オリジナル)

Our research demonstrates the significant benefits of using fine-tuning with explanations to enhance the performance of language models. Unlike prompting, which maintains the model’s parameters, fine-tuning allows the model to learn and update its parameters during a training phase. In this study, we applied fine-tuning to various sized language models using data that contained explanations of the output rather than merely presenting the answers. We found that even smaller language models with as few as 60 million parameters benefited substantially from this approach. Interestingly, our results indicated that the detailed explanations were more beneficial to smaller models than larger ones, with the latter gaining nearly the same advantage from any form of explanation, irrespective of its length. Additionally, we demonstrate that the inclusion of explanations enables the models to solve tasks that they were not able to solve without explanations. Lastly, we argue that despite the challenging nature of adding explanations, samples that contain explanations not only reduce the volume of data required for training but also promote a more effective generalization by the model. In essence, our findings suggest that fine-tuning with explanations significantly bolsters the performance of large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google