Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic?

要約

言語モデルは、ますます複雑化する問題に取り組むための有望なソリューションです。
ソフトウェア エンジニアリングでは、自然言語で記述されたプログラミング タスクの記述から、特定のプログラミング言語でプログラムを自動的に作成するコード アシスタントで最近注目されています。
コードを記述する際の時間と労力を節約できる可能性があります。
しかし、これらのシステムは現在十分に理解されておらず、最適に使用されていません。
このホワイト ペーパーでは、2 つの言語モデルのさまざまな入力パラメーターを調査し、これらの入力パラメーターのバリエーション (プログラミング タスクの記述と周囲のコンテキスト、言語モデルの創造性、生成されるソリューションの数など) が持つことができるかどうかを理解するための調査を行います。
生成されたプログラムの品質に大きな影響を与えます。
入力パラメーターを変化させる特定の演算子を設計し、2 つのコード アシスタント (Copilot と Codex) とアルゴリズムの問​​題を表す 2 つのベンチマーク (HumanEval と LeetCode) に適用します。
私たちの結果は、入力パラメーターを変更すると、言語モデルのパフォーマンスが大幅に向上することを示しました。
ただし、温度、プロンプト、および生成されるソリューションの数を変更する場合は密接な依存関係があり、開発者がパラメーターを適切に制御して最適な結果を得ることが困難になる可能性があります。
この作業により、パフォーマンスを改善するための (自動化された) 戦略を提案する機会が開かれます。

要約(オリジナル)

Language models are promising solutions for tackling increasing complex problems. In software engineering, they recently attracted attention in code assistants, with programs automatically written in a given programming language from a programming task description in natural language. They have the potential to save time and effort when writing code. However, these systems are currently poorly understood, preventing them from being used optimally. In this paper, we investigate the various input parameters of two language models, and conduct a study to understand if variations of these input parameters (e.g. programming task description and the surrounding context, creativity of the language model, number of generated solutions) can have a significant impact on the quality of the generated programs. We design specific operators for varying input parameters and apply them over two code assistants (Copilot and Codex) and two benchmarks representing algorithmic problems (HumanEval and LeetCode). Our results showed that varying the input parameters can significantly improve the performance of language models. However, there is a tight dependency when varying the temperature, the prompt and the number of generated solutions, making potentially hard for developers to properly control the parameters to obtain an optimal result. This work opens opportunities to propose (automated) strategies for improving performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google