Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems

要約

対話応答選択は、特定のユーザーとシステムの発話履歴に基づいて、いくつかの候補から適切な応答を選択することを目的としています。
既存の作品のほとんどは、クロスエンコーダ向けに調整されたポストトレーニングと微調整に主に焦点を当てています。
ただし、対話応答選択における高密度エンコーダーに合わせたトレーニング後の方法はありません。
私たちは、高密度対話システム (BERT など) に基づく現在の言語モデルが高密度エンコーダとして採用されると、対話のコンテキストと応答を別々にエンコードし、両方の表現の整合を達成するのに苦労することになると主張します。
したがって、我々は、対話応答選択における密なエンコーダに合わせた直接的かつ効果的なポストトレーニング技術である Dial-MAE (Dialogue Contextual Masking Auto-Encoder) を提案します。
Dial-MAE は、非対称エンコーダ/デコーダ アーキテクチャを使用して対話セマンティクスを高密度ベクトルに圧縮し、対話コンテキストと応答の特徴間のより適切な調整を実現します。
私たちの実験では、Dial-MAE が非常に効果的であり、一般的に評価される 2 つのベンチマークで最先端のパフォーマンスを達成していることが実証されました。

要約(オリジナル)

Dialogue response selection aims to select an appropriate response from several candidates based on a given user and system utterance history. Most existing works primarily focus on post-training and fine-tuning tailored for cross-encoders. However, there are no post-training methods tailored for dense encoders in dialogue response selection. We argue that when the current language model, based on dense dialogue systems (such as BERT), is employed as a dense encoder, it separately encodes dialogue context and response, leading to a struggle to achieve the alignment of both representations. Thus, we propose Dial-MAE (Dialogue Contextual Masking Auto-Encoder), a straightforward yet effective post-training technique tailored for dense encoders in dialogue response selection. Dial-MAE uses an asymmetric encoder-decoder architecture to compress the dialogue semantics into dense vectors, which achieves better alignment between the features of the dialogue context and response. Our experiments have demonstrated that Dial-MAE is highly effective, achieving state-of-the-art performance on two commonly evaluated benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google