HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework for Cross-Domain Zero-Shot Slot Filling

要約

タスク指向の対話シナリオでは、クロスドメインのゼロショット スロット充填は、ソース ドメインの知識を活用して、注釈付きデータが利用できない未知のターゲット ドメインで高い汎化能力を持つモデルを学習する上で重要な役割を果たします。
しかし、既存の最先端のゼロショット スロット充填手法は、ターゲット ドメインでの汎化能力が限られており、既知のスロットで効果的な知識伝達のみを示し、未可視のスロットではあまり効果がありません。
この問題を軽減するために、ゼロショット スロット充填のための新しい階層対照学習フレームワーク (HiCL) を紹介します。
具体的には、トークン間およびトークン内の分布距離を最適化することで、発話トークン間の一般化された深い意味関係を学習するための、ガウス分布埋め込みに基づく粗粒度から粒度の細かい対比学習を提案します。
これにより、HiCL がトレーニング段階では見られなかったスロット タイプに一般化することが促進されます。
さらに、以前のゼロショットスロット充填評価方法で対応するスロットタイプ（つまり、既知のスロットタイプ）と絡み合っていた未確認のスロットタイプのパフォーマンスを公平かつ個別に評価するための、新しい反復ラベルセットセマンティクス推論方法を提案します。
4 つのデータセットに対する広範な実証実験により、提案された方法が現在の最先端のゼロショット スロット充填アプローチと同等またはそれ以上のパフォーマンスを達成することが実証されています。

要約(オリジナル)

In task-oriented dialogue scenarios, cross-domain zero-shot slot filling plays a vital role in leveraging source domain knowledge to learn a model with high generalization ability in unknown target domain where annotated data is unavailable. However, the existing state-of-the-art zero-shot slot filling methods have limited generalization ability in target domain, they only show effective knowledge transfer on seen slots and perform poorly on unseen slots. To alleviate this issue, we present a novel Hierarchical Contrastive Learning Framework (HiCL) for zero-shot slot filling. Specifically, we propose a coarse- to fine-grained contrastive learning based on Gaussian-distributed embedding to learn the generalized deep semantic relations between utterance-tokens, by optimizing inter- and intra-token distribution distance. This encourages HiCL to generalize to the slot types unseen at training phase. Furthermore, we present a new iterative label set semantics inference method to unbiasedly and separately evaluate the performance of unseen slot types which entangled with their counterparts (i.e., seen slot types) in the previous zero-shot slot filling evaluation methods. The extensive empirical experiments on four datasets demonstrate that the proposed method achieves comparable or even better performance than the current state-of-the-art zero-shot slot filling approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google