A Controlled Experiment on the Energy Efficiency of the Source Code Generated by Code Llama

要約

コンテキスト現在、ソフトウェア開発者の83％が、コードを生成するために大規模言語モデル（LLM）を使用している。LLMは近年、ソフトウェア開発者の生産性を向上させ、ソフトウェア開発の時間とコストを削減するために不可欠なものとなっている。初心者から専門家まで幅広い開発者が、LLMツールをバグの検出やパッチの適用だけでなく、生成されたコードをソフトウェアに統合するためにも使用している。しかし、現在のところ、LLMツールによって生成されたソースコードのエネルギー効率に関する客観的な評価は行われていない。2023年8月にリリースされたCode Llamaは、最も新しいLLMツールの1つである。 目的本稿では、人間が書いたソースコードに対するCode Llamaのエネルギー効率を評価する実証研究を紹介する。 方法C++、JavaScript、Pythonで実装された3つの人間が書いたベンチマークを含む実験を設計する。Code Llamaには、異なるプロンプトと温度を使ってベンチマークのコードを生成してもらいます。そこで、両方の実装を実行し、そのエネルギー効率をプロファイリングする。 結果我々の研究は、Code Llamaによって生成されたコードのエネルギー効率は、選択されたプログラミング言語と手元の特定のコード問題に大きく依存することを示しています。また、人間の実装は全体的にエネルギー効率が高い傾向があり、生成されたJavaScriptコードは人間の実装を凌駕しています。さらに、Code Llamaにエネルギー効率の高いコードを生成するよう明示的に依頼しても、生成されるコードのエネルギー効率には影響しないようです。 結論私たちの結果によると、Code Llamaを使用して生成されたコードは、そうするように促された場合でも、エネルギー効率を保証しません。したがって、ソフトウェア開発者は、開発中のソフトウェアシステムに組み込む前に、生成されたコードのエネルギー効率を評価すべきである。

要約(オリジナル)

Context. Nowadays, 83% of software developers use Large Language Models (LLMs) to generate code. LLMs recently became essential to increase the productivity of software developers and decrease the time and cost of software development. Developers ranging from novices to experts use LLM tools not only to detect and patch bugs, but also to integrate generated code into their software. However, as of today there is no objective assessment of the energy efficiency of the source code generated by LLM tools. Released in August 2023, Code Llama is one of the most recent LLM tools. Goal. In this paper, we present an empirical study that assesses the energy efficiency of Code Llama with respect to human-written source code. Method. We design an experiment involving three human-written benchmarks implemented in C++, JavaScript, and Python. We ask Code Llama to generate the code of the benchmarks using different prompts and temperatures. Therefore, we execute both implementations and profile their energy efficiency. Results. Our study shows that the energy efficiency of code generated by Code Llama is heavily-dependent on the chosen programming language and the specific code problem at hand. Also, human implementations tend to be more energy efficient overall, with generated JavaScript code outperforming its human counterpart. Moreover, explicitly asking Code Llama to generate energy-efficient code results in an equal or worse energy efficiency, as well as using different temperatures seems not to affect the energy efficiency of generated code. Conclusions. According to our results, code generated using Code Llama does not guarantee energy efficiency, even when prompted to do so. Therefore, software developers should evaluate the energy efficiency of generated code before integrating it into the software system under development.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL