Triple-Encoders: Representations That Fire Together, Wire Together

要約

検索ベースのダイアログ モデルは通常、対話履歴を毎回再エンコードするため、高いコストがかかります。
バイエンコーダを介して発話間の相対距離を埋め込み空間にエンコードする表現学習手法である曲線対照学習は、最近、対話モデリングにおいてはるかに優れた効率で有望な結果を示しました。
発話を独立してエンコードすることで高い効率が達成されますが、これでは文脈化の重要性が無視されます。
この問題を克服するために、この研究では、重みを一切使用せずに、新しいヘビアンにヒントを得た共起学習目標を通じて、これらの独立してエンコードされた発話から分散発話混合を効率的に計算するトリプルエンコーダを導入します。
経験的に、トリプル エンコーダーはバイ エンコーダーに比べて大幅な改善につながり、再エンコードを必要とせずに単一ベクトル表現モデルよりも優れたゼロショット汎化さえも実現できることがわかりました。
私たちのコード/モデルは公開されています。

要約(オリジナル)

Search-based dialog models typically re-encode the dialog history at every turn, incurring high cost. Curved Contrastive Learning, a representation learning method that encodes relative distances between utterances into the embedding space via a bi-encoder, has recently shown promising results for dialog modeling at far superior efficiency. While high efficiency is achieved through independently encoding utterances, this ignores the importance of contextualization. To overcome this issue, this study introduces triple-encoders, which efficiently compute distributed utterance mixtures from these independently encoded utterances through a novel hebbian inspired co-occurrence learning objective without using any weights. Empirically, we find that triple-encoders lead to a substantial improvement over bi-encoders, and even to better zero-shot generalization than single-vector representation models without requiring re-encoding. Our code/model is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google