Generic Dependency Modeling for Multi-Party Conversation

要約

マルチパーティの会話における発話間の依存関係をモデル化するために、発話の依存関係解析結果に基づくシンプルで汎用的なフレームワークを提案します。
特に、相対依存関係エンコーディング (ReDE) の形式で依存関係をエンコードするアプローチを提示し、自己注意の計算を変更してトランスフォーマーに実装する方法を示します。
4 つのマルチパーティ会話ベンチマークに関する実験結果は、このフレームワークが 2 つの Transformer ベースの言語モデルの一般的なパフォーマンスを正常に向上させ、最先端の方法と比較して同等またはそれ以上のパフォーマンスをもたらすことを示しています。
コードは https://github.com/shenwzh3/ReDE で入手できます。

要約(オリジナル)

To model the dependencies between utterances in multi-party conversations, we propose a simple and generic framework based on the dependency parsing results of utterances. Particularly, we present an approach to encoding the dependencies in the form of relative dependency encoding (ReDE) and illustrate how to implement it in Transformers by modifying the computation of self-attention. Experimental results on four multi-party conversation benchmarks show that this framework successfully boosts the general performance of two Transformer-based language models and leads to comparable or even superior performance compared to the state-of-the-art methods. The codes are available at https://github.com/shenwzh3/ReDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google