A new approach for fine-tuning sentence transformers for intent classification and out-of-scope detection tasks

要約

仮想アシスタント (VA) システムでは、システムの範囲外のユーザー クエリを拒否またはリダイレクトすることが重要です。
スコープ外 (OOS) の拒否に対する最も正確なアプローチの 1 つは、スコープ内のクエリに対する意図分類のタスクと組み合わせ、トランスフォーマー ベースのセンテンス エンコーダーによって生成された埋め込みの類似性に基づいた方法を使用することです。
通常、このようなエンコーダーは、クロスエントロピー損失を使用して、意図分類タスク用に微調整されます。
最近の研究では、これにより意図分類タスクに適した埋め込みが生成される一方で、スコープ内の埋め込みが文全体の埋め込み空間に分散する傾向があることが示されています。
これにより、スコープ内のエンベディングが OOS エンベディングと重複する可能性が生じ、OOS の拒否が困難になります。
OOS データが不明な場合、この状況はさらに悪化します。
この問題を軽減するために、私たちの研究では、自動エンコーダを使用して学習したスコープ内埋め込み再構成損失を使用してクロスエントロピー損失を正規化することを提案しています。
私たちの方法では、意図分類のパフォーマンスを損なうことなく、サンプル外 (OOS) インスタンスを拒否する適合率 – 再現率曲線の下の領域で 1 ～ 4% の改善を達成します。

要約(オリジナル)

In virtual assistant (VA) systems it is important to reject or redirect user queries that fall outside the scope of the system. One of the most accurate approaches for out-of-scope (OOS) rejection is to combine it with the task of intent classification on in-scope queries, and to use methods based on the similarity of embeddings produced by transformer-based sentence encoders. Typically, such encoders are fine-tuned for the intent-classification task, using cross-entropy loss. Recent work has shown that while this produces suitable embeddings for the intent-classification task, it also tends to disperse in-scope embeddings over the full sentence embedding space. This causes the in-scope embeddings to potentially overlap with OOS embeddings, thereby making OOS rejection difficult. This is compounded when OOS data is unknown. To mitigate this issue our work proposes to regularize the cross-entropy loss with an in-scope embedding reconstruction loss learned using an auto-encoder. Our method achieves a 1-4% improvement in the area under the precision-recall curve for rejecting out-of-sample (OOS) instances, without compromising intent classification performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google