TACOMORE: Leveraging the Potential of LLMs in Corpus-based Discourse Analysis with Prompt Engineering

要約

自動化された定性分析を実行する LLM の能力は、コーパス言語学者によって疑問視されており、LLM を組み込んだコーパスベースの談話分析は、満足のいかないパフォーマンス、幻覚、再現性の問題によって妨げられていると主張されています。
私たちが提案する手法 TACOMORE は、この分野で効果的なプロンプトフレームワークとして機能することで、これらの懸念に対処することを目的としています。
このフレームワークは、タスク、コンテキスト、モデル、再現性の 4 つの原則で構成され、優れたプロンプトの 5 つの基本要素 (役割の説明、タスクの定義、タスクの手順、コンテキスト情報、出力形式) を指定します。
GPT-4o、Gemini-1.5-Pro、Gemini-1.5.Flash の 3 つの LLM で実験を行ったところ、TACOMORE が 3 つの代表的な談話分析タスク、つまりキーワード、連語、および一致の分析において LLM のパフォーマンスを向上させるのに役立つことがわかりました。
、COVID-19 研究論文のオープンコーパスに基づいています。
私たちの調査結果は、精度、倫理性、推論、再現性の観点から、コーパスベースの談話分析における提案されたプロンプトフレームワーク TACOMORE の有効性を示し、自動定性研究における LLM の適用と評価についての新しい洞察を提供します。

要約(オリジナル)

The capacity of LLMs to carry out automated qualitative analysis has been questioned by corpus linguists, and it has been argued that corpus-based discourse analysis incorporating LLMs is hindered by issues of unsatisfying performance, hallucination, and irreproducibility. Our proposed method, TACOMORE, aims to address these concerns by serving as an effective prompting framework in this domain. The framework consists of four principles, i.e., Task, Context, Model and Reproducibility, and specifies five fundamental elements of a good prompt, i.e., Role Description, Task Definition, Task Procedures, Contextual Information and Output Format. We conduct experiments on three LLMs, i.e., GPT-4o, Gemini-1.5-Pro and Gemini-1.5.Flash, and find that TACOMORE helps improve LLM performance in three representative discourse analysis tasks, i.e., the analysis of keywords, collocates and concordances, based on an open corpus of COVID-19 research articles. Our findings show the efficacy of the proposed prompting framework TACOMORE in corpus-based discourse analysis in terms of Accuracy, Ethicality, Reasoning, and Reproducibility, and provide novel insights into the application and evaluation of LLMs in automated qualitative studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google