Assessing the potential of AI-assisted pragmatic annotation: The case of apologies

要約

品詞や意味タグ付けなど、特定の形式の言語注釈は高精度で自動化できます。
ただし、語彙形式への直接のマッピングが不足している複雑な実用的および談話的な機能については、依然として手動の注釈が必要です。
この手動プロセスは時間がかかり、エラーが発生しやすいため、コーパス言語学における関数から形式へのアプローチの拡張性が制限されます。
これに対処するために、私たちの研究では、大規模言語モデル (LLM) を使用したプラグマ談話コーパスのアノテーションの自動化を検討しています。
ローカルの文法フレームワークに基づいて英語で謝罪コンポーネントに注釈を付ける際に、ChatGPT、Bing チャットボット、および人間のコーダーを比較します。
Bing チャットボットのパフォーマンスは ChatGPT を上回り、人間のプログラマーの精度に近い精度であることがわかりました。
これらの結果は、プラグマ談話コーパスのアノテーションを支援するために AI をうまく導入でき、プロセスをより効率的かつスケーラブルにすることができることを示唆しています。
キーワード: 言語注釈、関数から形式へのアプローチ、大規模言語モデル、ローカル文法分析、Bing チャットボット、ChatGPT

要約(オリジナル)

Certain forms of linguistic annotation, like part of speech and semantic tagging, can be automated with high accuracy. However, manual annotation is still necessary for complex pragmatic and discursive features that lack a direct mapping to lexical forms. This manual process is time-consuming and error-prone, limiting the scalability of function-to-form approaches in corpus linguistics. To address this, our study explores automating pragma-discursive corpus annotation using large language models (LLMs). We compare ChatGPT, the Bing chatbot, and a human coder in annotating apology components in English based on the local grammar framework. We find that the Bing chatbot outperformed ChatGPT, with accuracy approaching that of a human coder. These results suggest that AI can be successfully deployed to aid pragma-discursive corpus annotation, making the process more efficient and scalable. Keywords: linguistic annotation, function-to-form approaches, large language models, local grammar analysis, Bing chatbot, ChatGPT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google