At Which Training Stage Does Code Data Help LLMs Reasoning?

要約

大規模言語モデル (LLM) は、顕著な推論能力を発揮し、言語テクノロジの基盤となっています。
LLM のトレーニングにおけるコード データの大きな成功に触発されて、私たちは当然、コード データを導入するトレーニングのどの段階で LLM の推論に実際に役立つのか疑問に思います。
この目的を達成するために、このペーパーでは、コード データがさまざまな段階で LLM に与える影響を系統的に調査します。
具体的には、事前トレーニング段階、命令チューニング段階、その両方のコードデータをそれぞれ導入します。
次に、LLM の推論能力は、5 つのドメインにおける 6 つの推論タスクを通じて総合的かつ公正に評価されます。
私たちは実験結果を批判的に分析し、洞察を伴う結論を提供します。
まず、コードとテキストを組み合わせて LLM を事前トレーニングすると、他のタスクに悪影響を与えることなく、LLM の一般的な推論能力を大幅に強化できます。
さらに、命令チューニング段階では、コード データによって LLM にタスク固有の推論機能が与えられます。
さらに、コードとテキスト データの動的混合戦略は、LLM がトレーニング中に推論能力を段階的に学習するのに役立ちます。
これらの洞察は、科学的な質問回答、法的サポートなど、アプリケーションの推論能力に関する LLM の理解を深めます。ソース コードとモデル パラメーターはリンクで公開されています:~\url{https://github.com/yingweima2022
/CodeLLM}。

要約(オリジナル)

Large Language Models (LLMs) have exhibited remarkable reasoning capabilities and become the foundation of language technologies. Inspired by the great success of code data in training LLMs, we naturally wonder at which training stage introducing code data can really help LLMs reasoning. To this end, this paper systematically explores the impact of code data on LLMs at different stages. Concretely, we introduce the code data at the pre-training stage, instruction-tuning stage, and both of them, respectively. Then, the reasoning capability of LLMs is comprehensively and fairly evaluated via six reasoning tasks in five domains. We critically analyze the experimental results and provide conclusions with insights. First, pre-training LLMs with the mixture of code and text can significantly enhance LLMs’ general reasoning capability almost without negative transfer on other tasks. Besides, at the instruction-tuning stage, code data endows LLMs the task-specific reasoning capability. Moreover, the dynamic mixing strategy of code and text data assists LLMs to learn reasoning capability step-by-step during training. These insights deepen the understanding of LLMs regarding reasoning ability for their application, such as scientific question answering, legal support, etc. The source code and model parameters are released at the link:~\url{https://github.com/yingweima2022/CodeLLM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google