GIFT: Graph-Induced Fine-Tuning for Multi-Party Conversation Understanding

要約

多者間会話 (MPC) で誰が誰に何を言うかという問題に対処することは、最近多くの研究の注目を集めています。
しかし、MPC を理解するための既存の方法は通常、対話者や発話を連続した情報フローに埋め込むか、MPC に固有のグラフ構造の表面のみを利用します。
この目的を達成するために、普遍的な MPC の理解のために、さまざまな Transformer ベースの事前トレーニング済み言語モデル (PLM) を適応させることができるグラフ誘導微調整 (GIFT) と呼ばれる、プラグ アンド プレイの軽量な方法を紹介します。
詳細には、通常の Transformer における発話間の完全かつ等価な接続は、MPC における発話間の疎ではあるが特徴的な依存関係を無視します。
発話間のさまざまな関係を区別するために、4 種類のエッジがグラフ誘導信号を注意メカニズムに統合して、もともと連続したテキストを処理するために設計された PLM を改良するように設計されています。
GIFT を 3 つの PLM に実装して評価し、受信者の認識、話者の識別、応答の選択を含む 3 つの下流タスクのパフォーマンスをテストします。
実験結果によると、GIFT は、エンコード層ごとに 4 つの追加パラメータのみを使用して、3 つのダウンストリーム タスクと 2 つのベンチマークで 3 つの PLM のパフォーマンスを大幅に向上させ、MPC の理解に関する新しい最先端のパフォーマンスを達成できることが示されています。

要約(オリジナル)

Addressing the issues of who saying what to whom in multi-party conversations (MPCs) has recently attracted a lot of research attention. However, existing methods on MPC understanding typically embed interlocutors and utterances into sequential information flows, or utilize only the superficial of inherent graph structures in MPCs. To this end, we present a plug-and-play and lightweight method named graph-induced fine-tuning (GIFT) which can adapt various Transformer-based pre-trained language models (PLMs) for universal MPC understanding. In detail, the full and equivalent connections among utterances in regular Transformer ignore the sparse but distinctive dependency of an utterance on another in MPCs. To distinguish different relationships between utterances, four types of edges are designed to integrate graph-induced signals into attention mechanisms to refine PLMs originally designed for processing sequential texts. We evaluate GIFT by implementing it into three PLMs, and test the performance on three downstream tasks including addressee recognition, speaker identification and response selection. Experimental results show that GIFT can significantly improve the performance of three PLMs on three downstream tasks and two benchmarks with only 4 additional parameters per encoding layer, achieving new state-of-the-art performance on MPC understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google