Revisit Out-Of-Vocabulary Problem for Slot Filling: A Unified Contrastive Frameword with Multi-level Data Augmentations

要約

実際の対話シナリオでは、エンティティ パターンを記憶する傾向がある既存のスロット フィリング モデルでは、語彙外 (OOV) の問題に直面する一般化が大幅に減少しています。
この問題に対処するために、単語とスロットの両方の観点から OOV 問題を解決するために、マルチレベルのデータ拡張に基づく OOV の堅牢なスロット充填モデルを提案します。
元のサンプルと拡張サンプルの表現を一緒にプルして、モデルをOOV問題に耐性のあるものにする、統一された対照的な学習フレームワークを提示します。
いくつかの特定のスロットからモデルのパフォーマンスを評価し、OOV 単語の摂動を使用して慎重にテスト データを設計して、OOV 単語の有効性をさらに実証します。
2 つのデータセットでの実験は、OOV スロットと単語の両方に関して、私たちのアプローチが以前の sota メソッドよりも優れていることを示しています。

要約(オリジナル)

In real dialogue scenarios, the existing slot filling model, which tends to memorize entity patterns, has a significantly reduced generalization facing Out-of-Vocabulary (OOV) problems. To address this issue, we propose an OOV robust slot filling model based on multi-level data augmentations to solve the OOV problem from both word and slot perspectives. We present a unified contrastive learning framework, which pull representations of the origin sample and augmentation samples together, to make the model resistant to OOV problems. We evaluate the performance of the model from some specific slots and carefully design test data with OOV word perturbation to further demonstrate the effectiveness of OOV words. Experiments on two datasets show that our approach outperforms the previous sota methods in terms of both OOV slots and words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google