Prompting Implicit Discourse Relation Annotation

要約

ChatGPT などの事前トレーニング済みの大規模言語モデルは、教師付きトレーニングなしでさまざまな推論タスクで優れたパフォーマンスを記録し、クラウドソーシングのワーカーを上回るパフォーマンスを発揮することが判明しました。
それにもかかわらず、標準的な多肢選択質問によって促される暗黙的な談話関係分類のタスクにおける ChatGPT のパフォーマンスは依然として満足のいくものとは程遠く、最先端の教師付きアプローチよりも大幅に劣っています。
この研究では、ChatGPT による談話関係の認識を改善するための、実証済みのプロンプト手法をいくつか調査します。
特に、多数の抽象ラベルを含む分類タスクをより小さなサブタスクに分割することを実験しました。
それにもかかわらず、実験結果は、高度なプロンプトエンジニアリングを行っても推論精度がほとんど変わらないことを示しており、ゼロショットまたは少数ショット設定では暗黙的な談話関係分類がまだ解決できないことを示唆しています。

要約(オリジナル)

Pre-trained large language models, such as ChatGPT, archive outstanding performance in various reasoning tasks without supervised training and were found to have outperformed crowdsourcing workers. Nonetheless, ChatGPT’s performance in the task of implicit discourse relation classification, prompted by a standard multiple-choice question, is still far from satisfactory and considerably inferior to state-of-the-art supervised approaches. This work investigates several proven prompting techniques to improve ChatGPT’s recognition of discourse relations. In particular, we experimented with breaking down the classification task that involves numerous abstract labels into smaller subtasks. Nonetheless, experiment results show that the inference accuracy hardly changes even with sophisticated prompt engineering, suggesting that implicit discourse relation classification is not yet resolvable under zero-shot or few-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google