Adaptive Prompt Learning with Distilled Connective Knowledge for Implicit Discourse Relation Recognition

要約

暗黙的談話関係認識 (IDRR) は、明示的な接続詞を使用せずに 2 つのテキストセグメント間の談話関係を認識することを目的としています。
最近、プロンプト学習が IDRR タスクに適用されたばかりで、さまざまなニューラル ネットワーク ベースのアプローチよりもパフォーマンスが大幅に向上しました。
ただし、最先端のプロンプト アプローチの離散的な性質により、テンプレートと回答を手動で設計する必要があり、実際の適用には大きなハードルとなっています。
この論文では、AdaptPrompt と呼ばれる、接続知識の蒸留と組み合わせたプロンプト学習の連続バージョンを提案します。これにより、継続的なプロンプトにより手動の設計作業が軽減され、同時に知識の伝達によりパフォーマンスがさらに向上します。
特に、いくつかの仮想トークンを設計およびトレーニングして連続テンプレートを形成し、埋め込み空間での勾配検索によって最適なトークンを自動的に選択します。
また、回答空間としていくつかの仮想回答を生成するための回答関係マッピング ルールも設計します。
さらに、トレーニング データセットにおける注釈付き接続詞の重要性に気づき、知識伝達のための教師と生徒のアーキテクチャを設計します。
最新の PDTB Corpus V3.0 での実験により、最先端の競合他社よりも優れた関係認識パフォーマンスという点で、当社の設計目標が検証されました。

要約(オリジナル)

Implicit discourse relation recognition (IDRR) aims at recognizing the discourse relation between two text segments without an explicit connective. Recently, the prompt learning has just been applied to the IDRR task with great performance improvements over various neural network-based approaches. However, the discrete nature of the state-art-of-art prompting approach requires manual design of templates and answers, a big hurdle for its practical applications. In this paper, we propose a continuous version of prompt learning together with connective knowledge distillation, called AdaptPrompt, to reduce manual design efforts via continuous prompting while further improving performance via knowledge transfer. In particular, we design and train a few virtual tokens to form continuous templates and automatically select the most suitable one by gradient search in the embedding space. We also design an answer-relation mapping rule to generate a few virtual answers as the answer space. Furthermore, we notice the importance of annotated connectives in the training dataset and design a teacher-student architecture for knowledge transfer. Experiments on the up-to-date PDTB Corpus V3.0 validate our design objectives in terms of the better relation recognition performance over the state-of-the-art competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google