From Human-to-Human to Human-to-Bot Conversations in Software Engineering

要約

ソフトウェア開発者は、自然言語を使用して他の人間と対話するだけでなく、チャットボットと対話することも増えています。
これらのインタラクションにはさまざまなプロパティがあり、開発者が達成したい目標や誰とインタラクションするかに基づいて、異なる流れになります。
この論文では、AI とチャットボットの統合後の最新のソフトウェア開発中に発生する会話のダイナミクスを理解し、共同作業に人間の会話に加えてチャットボットの対話を含めることの長所と短所をより深く認識できるようにすることを目的としています。
人間および NLU ベースのチャットボットとの既存の会話属性をコンパイルし、ソフトウェア開発のコンテキストに適応させます。
次に、観察研究に基づいて、LLM を利用したチャットボットを含めて比較を拡張します。
人間と人間、および人間とボットの会話の類似点と相違点を示し、NLU ベースのチャットボットと LLM ベースのチャットボットも区別します。
さらに、会話スタイルの違いを理解することで、開発者がどのように会話から期待を形にし、その結果ソフトウェア チーム内のコミュニケーションをサポートできるようになるかについて説明します。
私たちは、LLM チャットボットで観察された最近の会話スタイルは、生産性をサポートし、開発者の精神的負荷を軽減する能力があるにもかかわらず、社会的側面に関する特定の属性により、人間との会話を置き換えることはできないと結論付けています。

要約(オリジナル)

Software developers use natural language to interact not only with other humans, but increasingly also with chatbots. These interactions have different properties and flow differently based on what goal the developer wants to achieve and who they interact with. In this paper, we aim to understand the dynamics of conversations that occur during modern software development after the integration of AI and chatbots, enabling a deeper recognition of the advantages and disadvantages of including chatbot interactions in addition to human conversations in collaborative work. We compile existing conversation attributes with humans and NLU-based chatbots and adapt them to the context of software development. Then, we extend the comparison to include LLM-powered chatbots based on an observational study. We present similarities and differences between human-to-human and human-to-bot conversations, also distinguishing between NLU- and LLM-based chatbots. Furthermore, we discuss how understanding the differences among the conversation styles guides the developer on how to shape their expectations from a conversation and consequently support the communication within a software team. We conclude that the recent conversation styles that we observe with LLM-chatbots can not replace conversations with humans due to certain attributes regarding social aspects despite their ability to support productivity and decrease the developers’ mental load.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google