Exploring the Potential of Human-LLM Synergy in Advancing Qualitative Analysis: A Case Study on Mental-Illness Stigma

要約

定性分析は、ヒューマン コンピューター インタラクション (HCI) 分野の研究を進める上で困難ではありますが、重要な側面です。
最近の研究では、大規模言語モデル (LLM) が既存のスキーム内で定性コーディングを実行できることが示されていますが、人間と LLM の共同発見や定性分析における新しい洞察の生成に関する LLM の可能性はまだ十分に調査されていません。
このギャップを埋め、LLM の力を活用して定性分析を進めるために、私たちは人間と LLM のコラボレーション パラダイムを活用して概念化を促進し、定性的研究を強化する新しい方法論である CHALET を提案します。
CHALET アプローチには、LLM でサポートされたデータ収集、人間と LLM の両方の演繹的コーディングを実行して不一致を特定し、これらの不一致のケースに対して協調的な帰納的コーディングを実行して新しい概念的な洞察を導き出すことが含まれます。
私たちは、精神疾患のスティグマの帰属モデルに CHALET を適用することでその有効性を検証し、認知、感情、行動の側面における暗黙のスティグマ化のテーマを明らかにしました。
将来の研究、方法論、CHALET が HCI コミュニティおよびそれ以外の人々に提供する学際的な機会への影響について議論します。

要約(オリジナル)

Qualitative analysis is a challenging, yet crucial aspect of advancing research in the field of Human-Computer Interaction (HCI). Recent studies show that large language models (LLMs) can perform qualitative coding within existing schemes, but their potential for collaborative human-LLM discovery and new insight generation in qualitative analysis is still underexplored. To bridge this gap and advance qualitative analysis by harnessing the power of LLMs, we propose CHALET, a novel methodology that leverages the human-LLM collaboration paradigm to facilitate conceptualization and empower qualitative research. The CHALET approach involves LLM-supported data collection, performing both human and LLM deductive coding to identify disagreements, and performing collaborative inductive coding on these disagreement cases to derive new conceptual insights. We validated the effectiveness of CHALET through its application to the attribution model of mental-illness stigma, uncovering implicit stigmatization themes on cognitive, emotional and behavioral dimensions. We discuss the implications for future research, methodology, and the transdisciplinary opportunities CHALET presents for the HCI community and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google