Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition

要約

明示的な接続詞の助けを借りずに談話関係を推測する暗黙的談話関係認識 (IDRR) は、談話解析にとって依然として重要かつ困難なタスクです。
最近の研究では、注釈付きの意味からの階層構造情報を利用する傾向があり、意味の階層を統合することによって強化された談話関係表現が得られることが実証されています。
それにもかかわらず、IDRR のパフォーマンスと堅牢性は、アノテーション付きデータの可用性によって大幅に制限されます。
幸いなことに、明示的な接続詞を含む注釈のない発話が豊富にあり、それを利用して、豊富な談話関係の特徴を取得できます。
このような動機を考慮して、IDRR に対するプロンプトベースの論理セマンティクス拡張 (PLSE) 手法を提案します。
基本的に、私たちの方法は、プロンプトベースの接続予測を通じて、談話関係に関連する知識を事前トレーニングされた言語モデルにシームレスに注入します。
さらに、プロンプトベースの接続予測が、グローバルセマンティクスを捕捉する際のマスク言語モデル（MLM）の欠陥によりローカル依存性を示すことを考慮して、相互情報量の最大化に基づいた新しい自己教師あり学習目標を設計し、論理セマンティクスの強化された表現を導き出します。
IDRR。
PDTB 2.0 および CoNLL16 データセットの実験結果は、私たちの方法が現在の最先端のモデルに対して優れた一貫したパフォーマンスを達成することを示しています。

要約(オリジナル)

Implicit Discourse Relation Recognition (IDRR), which infers discourse relations without the help of explicit connectives, is still a crucial and challenging task for discourse parsing. Recent works tend to exploit the hierarchical structure information from the annotated senses, which demonstrate enhanced discourse relation representations can be obtained by integrating sense hierarchy. Nevertheless, the performance and robustness for IDRR are significantly constrained by the availability of annotated data. Fortunately, there is a wealth of unannotated utterances with explicit connectives, that can be utilized to acquire enriched discourse relation features. In light of such motivation, we propose a Prompt-based Logical Semantics Enhancement (PLSE) method for IDRR. Essentially, our method seamlessly injects knowledge relevant to discourse relation into pre-trained language models through prompt-based connective prediction. Furthermore, considering the prompt-based connective prediction exhibits local dependencies due to the deficiency of masked language model (MLM) in capturing global semantics, we design a novel self-supervised learning objective based on mutual information maximization to derive enhanced representations of logical semantics for IDRR. Experimental results on PDTB 2.0 and CoNLL16 datasets demonstrate that our method achieves outstanding and consistent performance against the current state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google