Argumentation Element Annotation Modeling using XLNet

要約

この研究は、説得力のあるエッセイの議論要素に注釈を付けるための、トランスフォーマーベースの言語モデルである XLNet の有効性を実証します。
XLNet のアーキテクチャには、長いテキストの長期的な依存関係をモデル化できる反復メカニズムが組み込まれています。
微調整された XLNet モデルは、異なるスキームで注釈が付けられた 3 つのデータセット、つまり Annotations for Revisions and Reflections on Writing (ARROW) スキームを使用した独自のデータセット、PERSUADE コーパス、および Argument Annotated Essays (AAE) データセットに適用されました。
XLNet モデルは、すべてのデータセットにわたって強力なパフォーマンスを達成し、場合によっては人間の合意レベルを超えました。
これは、XLNet が多様な注釈スキームと長いエッセイを適切に処理できることを示しています。
異なるデータセットのモデル出力を比較すると、アノテーション タグ間の関係についての洞察も明らかになりました。
全体として、多様なデータセットにわたる議論構造のモデリングにおける XLNet の優れたパフォーマンスは、エッセイの構成に関する自動フィードバックを提供するのに XLNet が適していることを強調しています。

要約(オリジナル)

This study demonstrates the effectiveness of XLNet, a transformer-based language model, for annotating argumentative elements in persuasive essays. XLNet’s architecture incorporates a recurrent mechanism that allows it to model long-term dependencies in lengthy texts. Fine-tuned XLNet models were applied to three datasets annotated with different schemes – a proprietary dataset using the Annotations for Revisions and Reflections on Writing (ARROW) scheme, the PERSUADE corpus, and the Argument Annotated Essays (AAE) dataset. The XLNet models achieved strong performance across all datasets, even surpassing human agreement levels in some cases. This shows XLNet capably handles diverse annotation schemes and lengthy essays. Comparisons between the model outputs on different datasets also revealed insights into the relationships between the annotation tags. Overall, XLNet’s strong performance on modeling argumentative structures across diverse datasets highlights its suitability for providing automated feedback on essay organization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google