Optimizing Large Language Models for OpenAPI Code Completion

要約

大規模言語モデル (LLM) の最近の進歩と、コード生成タスクでの LLM の利用により、ソフトウェア開発の分野が大きく変わりました。
主流のプログラミング言語におけるコード補完ソリューションの顕著な有効性にもかかわらず、OpenAPI 定義などのあまり普及していない形式に適用すると、パフォーマンスが低下します。
この調査では、普及している商用コード補完ツールである GitHub Copilot の OpenAPI 補完パフォーマンスを評価し、Meta のオープンソース モデル Code Llama を活用した一連のタスク固有の最適化を提案しています。
この研究で提案されたセマンティクスを意識した OpenAPI 完了ベンチマークは、Code Llama モデルのパフォーマンスに対するさまざまなプロンプト エンジニアリングおよび微調整技術の影響を分析する一連の実験を実行するために使用されます。
微調整された Code Llama モデルは、商用ソリューションの基礎となる Codex モデルよりも使用するパラメーターが 25 分の 1 であるにもかかわらず、GitHub Copilot と比較して 55.2% のピーク精度向上に達しました。
さらに、この研究では、広く使用されているコード埋め込みトレーニング手法の強化を提案し、トレーニング中に使用されるコンテキスト サイズよりも小さいコンテキスト サイズでモデルがプロンプトされた場合のパフォーマンス低下の問題に対処します。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) and their utilization in code generation tasks have significantly reshaped the field of software development. Despite the remarkable efficacy of code completion solutions in mainstream programming languages, their performance lags when applied to less ubiquitous formats such as OpenAPI definitions. This study evaluates the OpenAPI completion performance of GitHub Copilot, a prevalent commercial code completion tool, and proposes a set of task-specific optimizations leveraging Meta’s open-source model Code Llama. A semantics-aware OpenAPI completion benchmark proposed in this research is used to perform a series of experiments through which the impact of various prompt-engineering and fine-tuning techniques on the Code Llama model’s performance is analyzed. The fine-tuned Code Llama model reaches a peak correctness improvement of 55.2% over GitHub Copilot despite utilizing 25 times fewer parameters than the commercial solution’s underlying Codex model. Additionally, this research proposes an enhancement to a widely used code infilling training technique, addressing the issue of underperformance when the model is prompted with context sizes smaller than those used during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google