Understanding the Usability of AI Programming Assistants

要約

タイトル:AIプログラミングアシスタントの使いやすさの理解

要約:

– AIプログラミングアシスタント(GitHub Copilotなど)が広く展開されていますが、開発者は初期の提案を高頻度で受け入れていないため、これらのツールの使いやすさに関するいくつかの未解決の問題が残っています。
– 開発者がこれらのツールを使用する際の実践と、彼らが直面する重要な使いやすさの問題を理解するために、大規模な開発者の集団に調査を行い、さまざまな410人の開発者から回答を得ました。
– 質的および量的分析の混合を通じて、開発者がAIプログラミングアシスタントを使用する最も動機づけられる理由が、キーストロークを減らし、プログラムタスクを素早く完了させ、構文を想起するためであることがわかりましたが、潜在的な解決策を考えるのを支援するために使用することには共感が少ないことがわかりました。
– また、開発者がこれらのツールを使わない最も重要な理由は、特定の機能要件や非機能要件に対応するコードを出力しないためであり、開発者が望む出力を生成するためにツールを制御するのに問題があるためです。
– 調査結果は、AIプログラミングアシスタントのクリエーターやユーザーの両方にとって、これらのツールとの最小限の認知的労力のインタラクションの設計に関する示唆を持っており、ユーザーがプログラミング中に注意散漫にならないようにすることが重要です。

要約(オリジナル)

The software engineering community recently has witnessed widespread deployment of AI programming assistants, such as GitHub Copilot. However, in practice, developers do not accept AI programming assistants’ initial suggestions at a high frequency. This leaves a number of open questions related to the usability of these tools. To understand developers’ practices while using these tools and the important usability challenges they face, we administered a survey to a large population of developers and received responses from a diverse set of 410 developers. Through a mix of qualitative and quantitative analyses, we found that developers are most motivated to use AI programming assistants because they help developers reduce key-strokes, finish programming tasks quickly, and recall syntax, but resonate less with using them to help brainstorm potential solutions. We also found the most important reasons why developers do not use these tools are because these tools do not output code that addresses certain functional or non-functional requirements and because developers have trouble controlling the tool to generate the desired output. Our findings have implications for both creators and users of AI programming assistants, such as designing minimal cognitive effort interactions with these tools to reduce distractions for users while they are programming.

arxiv情報

著者 Jenny T. Liang,Chenyang Yang,Brad A. Myers
発行日 2023-03-30 03:21:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, OpenAI

カテゴリー: cs.AI, cs.HC, cs.SE パーマリンク