ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems

要約

対話応答選択は、特定のユーザーとシステムの発話履歴に基づいて、いくつかの候補から適切な応答を選択することを目的としています。
最近の研究では、主に単純なマスクされた言語モデリング手法に依存して、ポストトレーニングを通じて対話応答選択の精度が向上しています。
しかし、最近開発された生成手法は、IR コミュニティにおける有望なテキスト表現機能を示しており、これにより対話セマンティクス モデリングの向上につながる可能性があります。
そこで、この論文では、対話応答選択に合わせた直接的かつ効果的なポストトレーニング手法である Dial-MAE (Dialogue Contextual Masking Auto-encoder) を提案します。
Dial-MAE は、対話のセマンティクスを対話密度の高いベクトルに圧縮する方法を学習する非対称エンコーダ/デコーダ アーキテクチャを使用します。
Dial-MAE のプロセスには、マスクされた対話コンテキストを使用して対話埋め込みを作成するディープ エンコーダーと、その後にこの埋め込みを高度にマスクされた応答とともに使用して元の応答を復元する浅いデコーダーが含まれます。
私たちの実験では、Dial-MAE が非常に効果的であり、一般的に評価される 2 つのベンチマークで最先端のパフォーマンスを達成していることが実証されました。

要約(オリジナル)

Dialogue response selection aims to select an appropriate response from several candidates based on a given user and system utterance history. Recent studies have been improving the accuracy of dialogue response selection through post-training, mostly relying on naive masked language modeling methods. However, the recently developed generative methods have shown promising text representation capabilities in IR community, which could potentially lead to better dialogue semantics modeling. Thus, in this paper, we propose Dial-MAE (Dialogue Contextual Masking Auto-encoder), a straightforward yet effective post-training technique tailored for dialogue response selection. Dial-MAE uses an asymmetric encoder-decoder architecture that learns to better compress the semantics of the dialogue into dialogue-dense vectors. The process of Dial-MAE involves a deep encoder creating a dialogue embedding with the masked dialogue context, followed by a shallow decoder that uses this embedding along with the highly masked response to restore the original response. Our experiments have demonstrated that Dial-MAE is highly effective, achieving state-of-the-art performance on two commonly evaluated benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google