Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications

要約

大規模な言語モデル（LLMS）は、多くの分野で顕著な能力を実証しています。
この調査では、LLMSがユーザーが技術的なバックグラウンドに関係なく、人間言語を使用して実行可能なコードを自動的に生成する方法に焦点を当てています。
自動化されたコード生成におけるLLMの制限と課題を理解することから始めます。
その後、コード生成タスクにおけるLLMのパフォーマンスと適応性の両方を強化するように設計されたさまざまな微調整技術をレビューします。
次に、評価のために既存のメトリックとベンチマークを確認して、微調整技術に基づいてモデルのパフォーマンスを評価します。
最後に、コード生成タスクでLLMS（Codellama、Github Copilot、Toolgenなど）のアプリケーションを調査して、その役割と機能を説明します。
この調査は、コード生成に関するLLMSの包括的な概要を提供し、多様な分野の研究者が現在の最先端のテクノロジーをよりよく理解し、コード生成タスクのLLMを効果的に活用する可能性を提供します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated their remarkable capabilities in numerous fields. This survey focuses on how LLMs empower users, regardless of their technical background, to use human languages to automatically generate executable code. We begin with understanding LLMs’ limitations and challenges in automated code generation. Subsequently, we review various fine-tuning techniques designed to enhance both the performance and adaptability of LLMs in code generation tasks. We then review the existing metrics and benchmarks for evaluations to assess model performance based on fine-tuning techniques. Finally, we explore the applications of LLMs (e.g. CodeLlama, GitHub Copilot, ToolGen) in code generation tasks to illustrate their roles and functionalities. This survey provides a comprehensive overview of LLMs for code generation, helps researchers in diverse fields better understand the current state-of-the-art technologies, and offers the potential of effectively leveraging LLMs for code generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google