要約
大規模言語モデル (LLM) は、ソフトウェア エンジニアリングを含む、テキストの生成に依存するほぼすべてのユースケースのサポート ツールとして、学界や一般の人々で頻繁に議論されています。
現在、産業界のエンジニアにとって、ChatGPT などの LLM ベースのツールの実際的な有用性については、多くの議論がありますが、実証的な証拠はほとんどありません。
私たちは、業務で ChatGPT を 1 週間にわたって使用している 24 人のプロのソフトウェア エンジニアを対象に観察研究を実施し、チャットボットとの対話と全体的なエクスペリエンス (終了調査で得られたもの) を定性的に分析しました。
実践者は、ChatGPT がすぐに使用できるソフトウェア成果物 (コードなど) を生成することを期待するのではなく、自分のタスクを解決する方法についてのガイダンスを受け取ったり、より抽象的な用語でトピックについて学習したりするために ChatGPT を使用することが多いことがわかりました。
また、(i) インタラクションの目的、(ii) 内部要因 (例: ユーザーの性格)、および (iii) 外部要因 (例: 企業方針) がどのように組み合わさってエクスペリエンス (知覚の観点から) を形成するかについての理論的枠組みも提案します。
有用性と信頼性）。
私たちは、ソフトウェア エンジニアリングの実践者による LLM の使用に関する学術的議論を促進するために、将来の研究で私たちのフレームワークが使用され、この領域における将来の実証的な LLM 研究の設計の参照点として機能することを想定しています。
要約(オリジナル)
Large Language Models (LLMs) are frequently discussed in academia and the general public as support tools for virtually any use case that relies on the production of text, including software engineering. Currently there is much debate, but little empirical evidence, regarding the practical usefulness of LLM-based tools such as ChatGPT for engineers in industry. We conduct an observational study of 24 professional software engineers who have been using ChatGPT over a period of one week in their jobs, and qualitatively analyse their dialogues with the chatbot as well as their overall experience (as captured by an exit survey). We find that, rather than expecting ChatGPT to generate ready-to-use software artifacts (e.g., code), practitioners more often use ChatGPT to receive guidance on how to solve their tasks or learn about a topic in more abstract terms. We also propose a theoretical framework for how (i) purpose of the interaction, (ii) internal factors (e.g., the user’s personality), and (iii) external factors (e.g., company policy) together shape the experience (in terms of perceived usefulness and trust). We envision that our framework can be used by future research to further the academic discussion on LLM usage by software engineering practitioners, and to serve as a reference point for the design of future empirical LLM research in this domain.
arxiv情報
| 著者 | Ranim Khojah,Mazen Mohamad,Philipp Leitner,Francisco Gomes de Oliveira Neto |
| 発行日 | 2024-04-23 10:34:16+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google