Reading Between the Lines: Modeling User Behavior and Costs in AI-Assisted Programming

要約

Copilot や CodeWhisperer などのコード推奨システムは、コードを提案して自動補完することでプログラマーの生産性を向上させる可能性があります。
ただし、その可能性を十分に発揮するには、プログラマーがこれらのシステムとどのように対話するかを理解し、その対話を改善する方法を特定する必要があります。
進歩を遂げるために、私たちは毎日何百万ものプログラマーが使用しているコード推奨システムである GitHub Copilot を研究しました。
私たちは、Copilot と対話する際の一般的なプログラマーのアクティビティの分類である CUPS を開発しました。
コーディングタスクを完了し、CUPSを使用してセッションに遡及的にラベルを付けた21人のプログラマーを対象とした調査では、CUPSがプログラマーがコード推奨システムとどのように対話するかを理解するのに役立ち、非効率性と時間コストが明らかになることを示しました。
私たちの洞察は、プログラマーがどのように Copilot と対話し、新しいインターフェイスの設計や指標を動機付けるかを明らかにします。

要約(オリジナル)

Code-recommendation systems, such as Copilot and CodeWhisperer, have the potential to improve programmer productivity by suggesting and auto-completing code. However, to fully realize their potential, we must understand how programmers interact with these systems and identify ways to improve that interaction. To make progress, we studied GitHub Copilot, a code-recommendation system used by millions of programmers daily. We developed CUPS, a taxonomy of common programmer activities when interacting with Copilot. Our study of 21 programmers, who completed coding tasks and retrospectively labeled their sessions with CUPS, showed that CUPS can help us understand how programmers interact with code-recommendation systems, revealing inefficiencies and time costs. Our insights reveal how programmers interact with Copilot and motivate new interface designs and metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google