Can Large Language Models emulate an inductive Thematic Analysis of semi-structured interviews? An exploration and provocation on the limits of the approach and the model

要約

大規模言語モデル (LLM) は、いくつかの分野や分野に適用できる強力な生成型人工知能ソリューションとして登場しました。
このペーパーでは、モデル GPT 3.5-Turbo を使用して帰納的テーマ分析のいくつかの側面をエミュレートするために行われた実験の結果と考察を示します。
このテーマに関するこれまでの研究は、主に演繹的分析の実施に取り組んできました。
テーマ分析は、社会科学で一般的に使用される分析の定性的方法であり、人間の分析者による解釈と、定性データの明示的および潜在的な意味の特定に基づいています。
LLM を使用して人間の解釈に基づく分析を試みることは明らかに挑発的ですが、これらのシステムが質的研究でどのように使用できるか、できないかについて何かを学ぶ方法でもあります。
この論文は、このエミュレーションを試みる動機を示し、Braun と Clarke によって提案されたテーマ分析の 6 つのステップを LLM で少なくとも部分的に再現できる方法を反映し、モデルによって生成される出力が何であるかについても反映しています。
この論文では、他の研究者がテーマ分析で以前に分析した、オープンアクセスの半構造化インタビューの既存の 2 つのデータセットを使用しました。
以前に生成された分析 (および関連テーマ) を使用して、LLM によって生成された結果と比較しました。
結果は、モデルが主要テーマの少なくとも一部を部分的に推論できることを示しています。
この論文の目的は、定性分析において人間のアナリストに代わることではなく、LLM データ操作のいくつかの要素が定性研究をある程度サポートできるかどうかを知ることです。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful generative Artificial Intelligence solutions which can be applied to several fields and areas of work. This paper presents results and reflection of an experiment done to use the model GPT 3.5-Turbo to emulate some aspects of an inductive Thematic Analysis. Previous research on this subject has largely worked on conducting deductive analysis. Thematic Analysis is a qualitative method for analysis commonly used in social sciences and it is based on interpretations made by the human analyst(s) and the identification of explicit and latent meanings in qualitative data. Attempting an analysis based on human interpretation with an LLM clearly is a provocation but also a way to learn something about how these systems can or cannot be used in qualitative research. The paper presents the motivations for attempting this emulation, it reflects on how the six steps to a Thematic Analysis proposed by Braun and Clarke can at least partially be reproduced with the LLM and it also reflects on what are the outputs produced by the model. The paper used two existing datasets of open access semi-structured interviews, previously analysed with Thematic Analysis by other researchers. It used the previously produced analysis (and the related themes) to compare with the results produced by the LLM. The results show that the model can infer at least partially some of the main Themes. The objective of the paper is not to replace human analysts in qualitative analysis but to learn if some elements of LLM data manipulation can to an extent be of support for qualitative research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google