Relational Temporal Graph Reasoning for Dual-task Dialogue Language Understanding

要約

デュアルタスク対話言語理解は、固有の相関関係を活用して、2 つの相関的な対話言語理解タスクに同時に取り組むことを目的としています。
この論文では、リレーショナル時間グラフ推論を核とする新しいフレームワークを提案します。対話の理解と対話におけるリレーショナル時間モデリングを容易にするために、話者認識時間グラフ (SATG) とデュアルタスクのリレーショナル時間グラフ (DRTG) を提案します。
デュアルタスク推論。
さらに、暗黙的なセマンティクスレベルの相互作用のみを実現する以前の研究とは異なり、予測レベルの相互作用を統合することによって明示的な依存関係をモデル化することを提案します。
私たちのフレームワークを実装するために、最初に新しいモデル Dual-tAsk 時間的リレーショナル推論ネットワーク (DARER) を提案します。DARER は、最初に SATG のリレーショナル時間モデリングを通じて文脈、話者、および時間に敏感な発話表現を生成し、次にリカレント デュアル 推論ネットワークを実行します。
DRTG 上のタスクリレーショナル時間グラフ推論。このプロセスでは、推定されたラベル分布が予測レベルの相互作用における重要な手がかりとして機能します。
また、DARER のリレーショナル時間モデリングは、リレーショナル畳み込みネットワーク (RGCN) によって実現されます。
次に、関係と構造を意識した解絡されたマルチヘッド アテンションを介して、きめの細かいリレーショナル時間モデリングを実現する Relational Temporal Transformer (ReTeFormer) をさらに提案します。
したがって、我々は、ReTeFormer を使用した DARER (DARER2) を提案します。これは、ReTeFormer の 2 つのバリアントを採用して、それぞれ SATG と DTRG のリレーショナル時間モデリングを実現します。
さまざまなシナリオでの広範な実験により、当社のモデルが最先端のモデルを大幅に上回るパフォーマンスを示していることが確認されています。
注目すべきことに、Mastodon データセットの対話センチメント分類タスクでは、DARER と DARER2 は、F1 の観点から、以前の最良のモデルと比較して約 28% と 34% の相対的な改善を得ています。

要約(オリジナル)

Dual-task dialog language understanding aims to tackle two correlative dialog language understanding tasks simultaneously via leveraging their inherent correlations. In this paper, we put forward a new framework, whose core is relational temporal graph reasoning.We propose a speaker-aware temporal graph (SATG) and a dual-task relational temporal graph (DRTG) to facilitate relational temporal modeling in dialog understanding and dual-task reasoning. Besides, different from previous works that only achieve implicit semantics-level interactions, we propose to model the explicit dependencies via integrating prediction-level interactions. To implement our framework, we first propose a novel model Dual-tAsk temporal Relational rEcurrent Reasoning network (DARER), which first generates the context-, speaker- and temporal-sensitive utterance representations through relational temporal modeling of SATG, then conducts recurrent dual-task relational temporal graph reasoning on DRTG, in which process the estimated label distributions act as key clues in prediction-level interactions. And the relational temporal modeling in DARER is achieved by relational convolutional networks (RGCNs). Then we further propose Relational Temporal Transformer (ReTeFormer), which achieves fine-grained relational temporal modeling via Relation- and Structure-aware Disentangled Multi-head Attention. Accordingly, we propose DARER with ReTeFormer (DARER2), which adopts two variants of ReTeFormer to achieve the relational temporal modeling of SATG and DTRG, respectively. The extensive experiments on different scenarios verify that our models outperform state-of-the-art models by a large margin. Remarkably, on the dialog sentiment classification task in the Mastodon dataset, DARER and DARER2 gain relative improvements of about 28% and 34% over the previous best model in terms of F1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google