Uni-Encoder: A Fast and Accurate Response Selection Paradigm for Generation-Based Dialogue Systems

要約

サンプル・アンド・ランクは、現代の世代別対話システムにとって重要な解読戦略である。これは、生成された候補の小さなプールから回答を選択することで、多様で高品質な回答を実現するのに役立ちます。現在の最新のランキング手法は、主にCross-Encoderと呼ばれる符号化パラダイムを使用しており、各コンテキストと候補のペアを別々に符号化し、候補をその適合度スコアに従ってランク付けしています。しかし、Cross-Encoderは、各候補に対して同じ長さのコンテキストを繰り返し符号化するため、高い計算コストが発生します。Poly-Encoderは、文脈と候補の間の相互作用を減らすことで上記の問題を解決しますが、性能の低下という代償を伴います。本研究では、Cross-Encoderのように各ペアに注意を払いながら、Poly-Encoderのようにコンテキストを一度だけエンコードするUni-Encoderという新しいパラダイムを開発する。Uni-Encoderは、1回のフォワードパスで、文脈を持つすべての候補を符号化する。すべての候補が平等に扱われるように同じ位置埋め込みを使用し、混乱を避けるために新しい注意メカニズムを設計しています。我々のUni-Encoderは、異なる注意と応答の連結方法を用いた他のランキングパラダイムをシミュレートすることができる。広範な実験により、我々の提案するパラダイムは、4つのベンチマークデータセットにおいて、高い計算効率で新たな最先端結果を達成することが示された。例えば、Ubuntu V2データセットでは、推論速度を約4倍高速化し、R10@1を2.9%向上させた。

要約(オリジナル)

Sample-and-rank is a key decoding strategy for modern generation-based dialogue systems. It helps achieve diverse and high-quality responses by selecting an answer from a small pool of generated candidates. The current state-of-the-art ranking methods mainly use an encoding paradigm called Cross-Encoder, which separately encodes each context-candidate pair and ranks the candidates according to their fitness scores. However, Cross-Encoder repeatedly encodes the same lengthy context for each candidate, resulting in high computational costs. Poly-Encoder addresses the above problems by reducing the interaction between context and candidates, but with a price of performance drop. In this work, we develop a new paradigm called Uni-Encoder, that keeps the full attention over each pair as in Cross-Encoder while only encoding the context once, as in Poly-Encoder. Uni-Encoder encodes all the candidates with the context in one forward pass. We use the same positional embedding for all candidates to ensure they are treated equally and design a new attention mechanism to avoid confusion. Our Uni-Encoder can simulate other ranking paradigms using different attention and response concatenation methods. Extensive experiments show that our proposed paradigm achieves new state-of-the-art results on four benchmark datasets with high computational efficiency. For instance, it improves R10@1 by 2.9% with an approximately 4X faster inference speed on the Ubuntu V2 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL