LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis

要約

テーマ分析 (TA) は、多くの分野や分野で定性データの分析に広く使用されています。
信頼性の高い分析を保証するために、通常、同じデータが少なくとも 2 人のプログラマーに割り当てられます。
さらに、有意義で有用な分析を生み出すために、人間のコーダーはデータの解釈とコーディングを複数回繰り返して開発、深化させるため、TA に多大な労力と時間がかかります。
最近、大規模言語モデル (LLM) の新興分野の研究により、LLM にはさまざまなタスクにおいて人間のような動作を再現する可能性があることが示されています。特に、LLM はテキスト注釈タスクにおいてクラウド ワーカーよりも優れており、TA で LLM を活用する機会が示唆されています。
私たちは、コンテキスト内学習 (ICL) を使用して TA を実行するための、人間と LLM のコラボレーション フレームワーク (つまり、LLM インザループ) を提案します。
このフレームワークは、LLM (GPT-3.5 など) とのディスカッションを組み立てて TA の最終コードブックを生成するためのプロンプトを提供します。
私たちは、音楽鑑賞体験とパスワード マネージャーの使用の側面に関する調査データセットを使用して、このフレームワークの有用性を実証します。
2 つのケース スタディの結果は、提案されたフレームワークが人間のコーダーと同様のコーディング品質をもたらしながら、TA の労力と時間の要求を軽減することを示しています。

要約(オリジナル)

Thematic analysis (TA) has been widely used for analyzing qualitative data in many disciplines and fields. To ensure reliable analysis, the same piece of data is typically assigned to at least two human coders. Moreover, to produce meaningful and useful analysis, human coders develop and deepen their data interpretation and coding over multiple iterations, making TA labor-intensive and time-consuming. Recently the emerging field of large language models (LLMs) research has shown that LLMs have the potential replicate human-like behavior in various tasks: in particular, LLMs outperform crowd workers on text-annotation tasks, suggesting an opportunity to leverage LLMs on TA. We propose a human-LLM collaboration framework (i.e., LLM-in-the-loop) to conduct TA with in-context learning (ICL). This framework provides the prompt to frame discussions with a LLM (e.g., GPT-3.5) to generate the final codebook for TA. We demonstrate the utility of this framework using survey datasets on the aspects of the music listening experience and the usage of a password manager. Results of the two case studies show that the proposed framework yields similar coding quality to that of human coders but reduces TA’s labor and time demands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google