Fine-Grained Evaluation for Implicit Discourse Relation Recognition

要約

暗黙の談話関係の認識は、テキストの範囲間の明示的な談話接続がないため、談話分析における困難な作業です。
最近の事前に訓練された言語モデルは、このタスクで大きな成功を収めています。
ただし、このタスクのこれらの事前に訓練された言語モデルのパフォーマンスに関する細粒の分析はありません。
したがって、このタスクの難易度と可能な方向は不明です。
この論文では、モデルの予測を深く分析し、事前に訓練された言語モデルの難しさとこのタスクの可能な方向を見つけようとします。
事前に訓練された言語モデルを使用してこのタスクの詳細な分析を行うことに加えて、PDTB 3.0の注釈付き例をいくつか備えた関係に比較的高品質のデータを加算するために、平均的にデータをアノテートします。
注釈付きデータは、レベル2感覚の暗黙の談話関係認識を大幅に改善するのに役立ちます。

要約(オリジナル)

Implicit discourse relation recognition is a challenging task in discourse analysis due to the absence of explicit discourse connectives between spans of text. Recent pre-trained language models have achieved great success on this task. However, there is no fine-grained analysis of the performance of these pre-trained language models for this task. Therefore, the difficulty and possible directions of this task is unclear. In this paper, we deeply analyze the model prediction, attempting to find out the difficulty for the pre-trained language models and the possible directions of this task. In addition to having an in-depth analysis for this task by using pre-trained language models, we semi-manually annotate data to add relatively high-quality data for the relations with few annotated examples in PDTB 3.0. The annotated data significantly help improve implicit discourse relation recognition for level-2 senses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google