Can GPT-4 learn to analyze moves in research article abstracts?

要約

書かれた談話分析における最も強力かつ永続的なアイデアの 1 つは、ジャンルは作家の目的を構成する動きの観点から説明できるというものです。
これらの異なるコミュニケーション行為を特定するためにかなりの研究が行われてきましたが、分析は主観性、信頼性、分析を確認するために複数のコーダーが必要となる時間のかかる問題に悩まされてきました。
この論文では、GPT-4 のアフォーダンスを採用し、自然言語プロンプトを使用して注釈プロセスを自動化します。
4 つの応用言語学ジャーナルの論文の要約に焦点を当て、モデルが効果的に動きを識別できるようにするプロンプトを考案しました。
これらのプロンプトの注釈付き出力は 2 人の評価者によって評価され、3 人目は意見の相違に対処しました。
その結果、8ショットのプロンプトは2ショットを使用するプロンプトよりも効果的であることが示され、変動領域を示す例を含めることで、単一の文内の複数の動きを認識するGPT-4の能力が強化され、テキストの位置に関連するバイアスが軽減されることが確認されました。
GPT-4 は、ドメイン固有の言語専門知識を持つ人間のアクターがプロンプト プロセスに情報を提供する場合、このアノテーション プロセスの自動化に大きな可能性をもたらすことを示唆しています。

要約(オリジナル)

One of the most powerful and enduring ideas in written discourse analysis is that genres can be described in terms of the moves which structure a writer’s purpose. Considerable research has sought to identify these distinct communicative acts, but analyses have been beset by problems of subjectivity, reliability and the time-consuming need for multiple coders to confirm analyses. In this paper we employ the affordances of GPT-4 to automate the annotation process by using natural language prompts. Focusing on abstracts from articles in four applied linguistics journals, we devise prompts which enable the model to identify moves effectively. The annotated outputs of these prompts were evaluated by two assessors with a third addressing disagreements. The results show that an 8-shot prompt was more effective than one using two, confirming that the inclusion of examples illustrating areas of variability can enhance GPT-4’s ability to recognize multiple moves in a single sentence and reduce bias related to textual position. We suggest that GPT-4 offers considerable potential in automating this annotation process, when human actors with domain specific linguistic expertise inform the prompting process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google