要約
Q&Aプラットフォームは、過去10年間、プログラマーがウェブヘルプを求める行動に不可欠な要素でした。しかし、最近ChatGPTが登場したことで、ウェブヘルプを求める行動のパラダイムに変化が生じています。ChatGPTの人気にもかかわらず、ソフトウェアエンジニアリングの質問に対するChatGPTの回答の特徴や使いやすさを評価する包括的な研究は行われていません。このギャップを埋めるために、我々は、517のStack Overflow (SO)の質問に対するChatGPTの回答の最初の詳細な分析を行い、ChatGPTの回答の正しさ、一貫性、包括性、簡潔性を調べました。さらに、ChatGPTの回答の特徴を言語的側面と人間的側面から理解するために、大規模な言語分析とユーザ調査を実施しました。分析の結果、ChatGPTの回答の52%が不正解であり、77%が冗長であることがわかりました。それにもかかわらず、ChatGPTの回答は、その包括性とよく表現された言語スタイルにより、39.34%の確率で好まれています。この結果は、ChatGPTの誤りの精査と是正の必要性を示唆すると同時に、一見正しく見えるChatGPTの解答に関連するリスクについて、利用者の意識を喚起するものです。
要約(オリジナル)
Q&A platforms have been an integral part of the web-help-seeking behavior of programmers over the past decade. However, with the recent introduction of ChatGPT, the paradigm of web-help-seeking behavior is experiencing a shift. Despite the popularity of ChatGPT, no comprehensive study has been conducted to evaluate the characteristics or usability of ChatGPT’s answers to software engineering questions. To bridge the gap, we conducted the first in-depth analysis of ChatGPT’s answers to 517 Stack Overflow (SO) questions and examined the correctness, consistency, comprehensiveness, and conciseness of ChatGPT’s answers. Furthermore, we conducted a large-scale linguistic analysis, and a user study to understand the characteristics of ChatGPT answers from linguistic and human aspects. Our analysis shows that 52\% of ChatGPT answers are incorrect and 77\% are verbose. Nonetheless, ChatGPT answers are still preferred 39.34\% of the time due to their comprehensiveness and well-articulated language style. Our result implies the necessity of close examination and rectification of errors in ChatGPT, at the same time creating awareness among its users of the risks associated with seemingly correct ChatGPT answers.
arxiv情報
| 著者 | Samia Kabir,David N. Udo-Imeh,Bonan Kou,Tianyi Zhang |
| 発行日 | 2023-08-04 13:23:20+00:00 |
| arxivサイト | arxiv_id(pdf) |