Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective

要約

コード生成は、問題の説明を理解し、対応するコード スニペットを生成することを目的としています。既存の作業では通常、思考連鎖やその変形などの戦略を促すことで、このような複雑なタスクを中間ステップに分解します。
これらの研究はある程度の成功を収めていますが、その有効性は、特に API 呼び出しに関して GPT-4 などの高度なラージ言語モデル (LLM) の機能に大きく依存しており、実際の適用可能性が大幅に制限されています。
したがって、トレーニング コストを大幅に増加させることなく、小規模および中規模のコード LLM のコード生成機能を強化する方法は魅力的な課題です。
この論文では、コード コメントが自然言語とコード言語の間の自然なロジックの要であることを示唆し、コード LLM のコード生成能力を高めるためにコメントを使用することを提案します。
具体的には、コメント対比トレーニング戦略と、対応する論理コメントデコード戦略を含む、MANGO (コメントとしての自然論理ピボット) を提案します。
実験は、StarCoder と WizardCoder をバックボーン モデルとして利用し、3B から 7B までのモデル パラメーター サイズを網羅して、HumanEval と MBPP で実行されます。
結果は、MANGO が強力なベースラインに基づいてコードパス率を大幅に向上させることを示しています。
一方、論理コメントのデコード戦略の堅牢性は、思考連鎖プロンプトよりも顕著に優れています。
コードは \url{https://github.com/pppa2019/Mango} で公開されています。

要約(オリジナル)

Code generation aims to understand the problem description and generate corresponding code snippets, where existing works generally decompose such complex tasks into intermediate steps by prompting strategies, such as Chain-of-Thought and its variants. While these studies have achieved some success, their effectiveness is highly dependent on the capabilities of advanced Large Language Models (LLMs) such as GPT-4, particularly in terms of API calls, which significantly limits their practical applicability. Consequently, how to enhance the code generation capabilities of small and medium-scale code LLMs without significantly increasing training costs is an appealing challenge. In this paper, we suggest that code comments are the natural logic pivot between natural language and code language and propose using comments to boost the code generation ability of code LLMs. Concretely, we propose MANGO (comMents As Natural loGic pivOts), including a comment contrastive training strategy and a corresponding logical comment decoding strategy. Experiments are performed on HumanEval and MBPP, utilizing StarCoder and WizardCoder as backbone models, and encompassing model parameter sizes between 3B and 7B. The results indicate that MANGO significantly improves the code pass rate based on the strong baselines. Meanwhile, the robustness of the logical comment decoding strategy is notably higher than the Chain-of-thoughts prompting. The code is publicly available at \url{https://github.com/pppa2019/Mango}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google