Does Asking Clarifying Questions Increases Confidence in Generated Code? On the Communication Skills of Large Language Models

要約

大規模言語モデル (LLM) により、コード生成の分野でタスクを実行する能力が大幅に向上しました。
ただし、LLM が有能なプログラマーであることと、一流のソフトウェア エンジニアであることの間には、依然としてギャップがあります。
トップレベルのソフトウェア エンジニアは、要件とコーディング ソリューションの両方における曖昧さを減らすために、明確な質問をすることが多いという観察に基づいて、コード生成タスクの LLM にも同じことが適用されるべきだと主張します。
最終コードを生成する前にさまざまなトピックについて詳しく質問することで、不明確な意図の仕様、計算的思考の欠如、望ましくないコード品質など、LLM を使用したプログラミングの課題が軽減される可能性があります。
これにより、生成されたコードの信頼性が高まります。
この作業では、より優れたコミュニケーション スキルを活用して、生成されたコードに対する信頼性を高める方法を検討します。
私たちは、LLM で生成されたコミュニケータを使用して、問題の説明と生成されたコードにおける曖昧さの高い問題または信頼性の低い問題を特定する、コミュニケーション中心のプロセスを提案します。
次に、コードを改良するためのユーザーからの回答を得るために、明確な質問をします。

要約(オリジナル)

Large language models (LLMs) have significantly improved the ability to perform tasks in the field of code generation. However, there is still a gap between LLMs being capable coders and being top-tier software engineers. Based on the observation that top-level software engineers often ask clarifying questions to reduce ambiguity in both requirements and coding solutions, we argue that the same should be applied to LLMs for code generation tasks. By asking probing questions in various topics before generating the final code, the challenges of programming with LLMs, such as unclear intent specification, lack of computational thinking, and undesired code quality, may be alleviated. This, in turn, increases confidence in the generated code. In this work, we explore how to leverage better communication skills to achieve greater confidence in generated code. We propose a communication-centered process that uses an LLM-generated communicator to identify issues with high ambiguity or low confidence in problem descriptions and generated code. We then ask clarifying questions to obtain responses from users for refining the code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google