Z-BERT-A: a zero-shot Pipeline for Unknown Intent detection

要約

インテントの発見は自然言語処理において重要なタスクであり、さまざまな産業アプリケーションとの関連性がますます高まっています。
ユーザー入力から新しい目に見えない意図を特定することは、依然としてこの分野における最大の課題の 1 つです。
ここでは、アダプターで微調整された、Transformer アーキテクチャに依存した多言語インテント検出のための 2 段階の方法である Zero-Shot-BERT-Adapters を提案します。
自然言語推論 (NLI) 用にモデルをトレーニングし、その後、複数の言語に対してゼロショット設定で未知の意図の分類を実行します。
評価では、最初に既知のクラスに対する適応微調整後のモデルの品質を分析します。
次に、NLI タスクとしてキャスト意図の分類におけるパフォーマンスを評価します。
最後に、目に見えないクラスでモデルのゼロショット パフォーマンスをテストします。これは、ゼロショット BERT アダプターが、グラウンド トゥルースと同等ではないにしても、意味的に類似したインテントを生成することによって、どのように効果的にインテント検出を実行できるかを示します。
私たちの実験では、既知のインテント分類と未知のインテント検出という 2 つのゼロショット設定において、ゼロショット BERT アダプターがさまざまなベースラインをどのように上回るパフォーマンスを示すかを示しています。
提案されたパイプラインは、顧客ケアに幅広く応用できる可能性を秘めています。
大規模な言語モデルとは異なり、さまざまなビジネス シナリオで簡単に導入および拡張できる軽量モデルを使用して、自動化された動的トリアージが可能になります。
Zero-Shot-BERT-Adapters は、インテント検出のための革新的な多言語アプローチを表し、新しいインテントのオンライン生成を可能にします。
パイプラインを実装する Python パッケージとコンパイルした新しいデータセットは、https://github.com/GT4SD/zero-shot-bert-adapters のリンクから入手できます。

要約(オリジナル)

Intent discovery is a crucial task in natural language processing, and it is increasingly relevant for various of industrial applications. Identifying novel, unseen intents from user inputs remains one of the biggest challenges in this field. Herein, we propose Zero-Shot-BERT-Adapters, a two-stage method for multilingual intent discovery relying on a Transformer architecture, fine-tuned with Adapters. We train the model for Natural Language Inference (NLI) and later perform unknown intent classification in a zero-shot setting for multiple languages. In our evaluation, we first analyze the quality of the model after adaptive fine-tuning on known classes. Secondly, we evaluate its performance in casting intent classification as an NLI task. Lastly, we test the zero-shot performance of the model on unseen classes, showing how Zero-Shot-BERT-Adapters can effectively perform intent discovery by generating semantically similar intents, if not equal, to the ground-truth ones. Our experiments show how Zero-Shot-BERT-Adapters outperforms various baselines in two zero-shot settings: known intent classification and unseen intent discovery. The proposed pipeline holds the potential for broad application in customer care. It enables automated dynamic triage using a lightweight model that can be easily deployed and scaled in various business scenarios, unlike large language models. Zero-Shot-BERT-Adapters represents an innovative multi-language approach for intent discovery, enabling the online generation of novel intents. A Python package implementing the pipeline and the new datasets we compiled are available at the following link: https://github.com/GT4SD/zero-shot-bert-adapters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google