Reconciling Methodological Paradigms: Employing Large Language Models as Novice Qualitative Research Assistants in Talent Management Research

要約

インタビューやフォーカス グループなどの定性的なデータ収集と分析のアプローチは、顧客の態度、感情、行動についての豊富な洞察を提供します。
ただし、定性データを手動で分析するには、関連するトピックやテーマ別の洞察を特定するために多大な時間と労力が必要です。
この研究では、インタビュー記録の分析に検索拡張生成 (RAG) ベースの大規模言語モデル (LLM) を活用することで、この課題に対処する新しいアプローチを提案します。
この研究の新規性は、初心者の研究助手として機能する LLM によって強化されるものとして研究調査を戦略化することにあります。
この研究では、人材管理分野で研究者の初心者の質的研究アシスタントとして機能する LLM のメンタル モデルを調査します。
RAG ベースの LLM アプローチは、半構造化インタビュー データのトピック モデリングを可能にするように拡張され、情報検索や検索における従来の用途を超えたこれらのモデルの多用途性を示しています。
私たちの調査結果は、LLM 拡張 RAG アプローチが、同じデータセットから手動で生成されたトピックと比較して、大幅な範囲で関心のあるトピックを首尾よく抽出できることを示しています。
これにより、初心者の質的研究アシスタントとして LLM を雇用する可能性が確立されます。
さらに、この研究は、そのようなモデルを活用する研究者が、アプローチの厳密さと信頼性を確保するために、従来の定性的研究で使用される品質基準に大きく依存することを推奨しています。
最後に、この論文は、LLM の使用と確立された定性的研究パラダイムを調和させようとしている業界の実務者向けの重要な推奨事項を示し、人材内の定性的データセットの分析において、初心者ではあるがこれらの強力な AI ツールを効果的に統合するためのロードマップを提供します。

要約(オリジナル)

Qualitative data collection and analysis approaches, such as those employing interviews and focus groups, provide rich insights into customer attitudes, sentiment, and behavior. However, manually analyzing qualitative data requires extensive time and effort to identify relevant topics and thematic insights. This study proposes a novel approach to address this challenge by leveraging Retrieval Augmented Generation (RAG) based Large Language Models (LLMs) for analyzing interview transcripts. The novelty of this work lies in strategizing the research inquiry as one that is augmented by an LLM that serves as a novice research assistant. This research explores the mental model of LLMs to serve as novice qualitative research assistants for researchers in the talent management space. A RAG-based LLM approach is extended to enable topic modeling of semi-structured interview data, showcasing the versatility of these models beyond their traditional use in information retrieval and search. Our findings demonstrate that the LLM-augmented RAG approach can successfully extract topics of interest, with significant coverage compared to manually generated topics from the same dataset. This establishes the viability of employing LLMs as novice qualitative research assistants. Additionally, the study recommends that researchers leveraging such models lean heavily on quality criteria used in traditional qualitative research to ensure rigor and trustworthiness of their approach. Finally, the paper presents key recommendations for industry practitioners seeking to reconcile the use of LLMs with established qualitative research paradigms, providing a roadmap for the effective integration of these powerful, albeit novice, AI tools in the analysis of qualitative datasets within talent

arxiv情報

提供元, 利用サービス

arxiv.jp, Google