Human-AI Collaboration in Thematic Analysis using ChatGPT: A User Study and Design Recommendations

要約

生成人工知能 (GenAI) は、質的研究における人間と AI のコラボレーションを促進する有望な可能性を提供します。
しかし、既存の研究は従来の機械学習とパターンベースの AI システムに焦点を当てており、質的研究において研究者が GenAI とどのように対話するかについてはほとんど知られていません。
この研究では、GenAI、特に ChatGPT とのコラボレーションに対する研究者の認識を掘り下げています。
10 人の定性研究者が参加したユーザー調査を通じて、ChatGPT がテーマ分析、コーディング効率の向上、初期データ探索の支援、詳細な定量的洞察の提供、および非ネイティブ話者や非専門家の理解を支援するための貴重なコラボレーターであることがわかりました。
しかし、その信頼性と正確性、信頼性と一貫性、限定された文脈理解、研究コミュニティ内での広範な受け入れについての懸念は依然として残っています。
私たちは、人間と AI の効果的なコラボレーションを促進するために、5 つの実用的な設計に関する推奨事項を提供します。
これらには、透明な説明メカニズムの組み込み、インターフェイスと統合機能の強化、コンテキストの理解とカスタマイズの優先順位付け、人間と AI のフィードバック ループと反復機能の埋め込み、検証メカニズムによる信頼の強化が含まれます。

要約(オリジナル)

Generative artificial intelligence (GenAI) offers promising potential for advancing human-AI collaboration in qualitative research. However, existing works focused on conventional machine-learning and pattern-based AI systems, and little is known about how researchers interact with GenAI in qualitative research. This work delves into researchers’ perceptions of their collaboration with GenAI, specifically ChatGPT. Through a user study involving ten qualitative researchers, we found ChatGPT to be a valuable collaborator for thematic analysis, enhancing coding efficiency, aiding initial data exploration, offering granular quantitative insights, and assisting comprehension for non-native speakers and non-experts. Yet, concerns about its trustworthiness and accuracy, reliability and consistency, limited contextual understanding, and broader acceptance within the research community persist. We contribute five actionable design recommendations to foster effective human-AI collaboration. These include incorporating transparent explanatory mechanisms, enhancing interface and integration capabilities, prioritising contextual understanding and customisation, embedding human-AI feedback loops and iterative functionality, and strengthening trust through validation mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google