Assistance or Disruption? Exploring and Evaluating the Design and Trade-offs of Proactive AI Programming Support

要約

AIプログラミングツールは強力なコード生成を可能にし、最近のプロトタイプはプロアクティブなAIエージェントとのユーザーの努力を減らしようとしますが、プログラミングワークフローへの影響は未開拓のままです。
編集者のアクティビティとタスクコンテキストに基づいてプログラミング支援を開始する設計プローブLLMエージェントであるCodellaboratorを紹介および評価します。
ますます顕著なAIサポートのトレードオフを評価するために、3つのインターフェイスバリアントを調査しました：存在感とコンテキストを備えたプロンプトのみ、プロアクティブなエージェント、プロアクティブエージェント（Codellaborator）。
被験者内の研究（n = 18）では、積極的なエージェントがプロンプトのみのパラダイムと比較して効率を高めるだけでなく、ワークフローの破壊も発生することがわかります。
ただし、存在指標と相互作用コンテキストは、混乱を軽減し、AIプロセスに対するユーザーの認識を改善することをサポートしています。
ユーザーコントロール、所有権、およびコード理解に関するCodellaboratorのトレードオフを強調し、プログラミングプロセスに積極性を適応させる必要性を強調します。
私たちの研究は、積極的なAIシステムの設計調査と評価に貢献し、AI統合プログラミングワークフローに設計上の意味を示しています。

要約(オリジナル)

AI programming tools enable powerful code generation, and recent prototypes attempt to reduce user effort with proactive AI agents, but their impact on programming workflows remains unexplored. We introduce and evaluate Codellaborator, a design probe LLM agent that initiates programming assistance based on editor activities and task context. We explored three interface variants to assess trade-offs between increasingly salient AI support: prompt-only, proactive agent, and proactive agent with presence and context (Codellaborator). In a within-subject study (N=18), we find that proactive agents increase efficiency compared to prompt-only paradigm, but also incur workflow disruptions. However, presence indicators and interaction context support alleviated disruptions and improved users’ awareness of AI processes. We underscore trade-offs of Codellaborator on user control, ownership, and code understanding, emphasizing the need to adapt proactivity to programming processes. Our research contributes to the design exploration and evaluation of proactive AI systems, presenting design implications on AI-integrated programming workflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google