The Open-World Lottery Ticket Hypothesis for OOD Intent Classification

要約

ドメイン外 (OOD) 意図分類の既存の方法のほとんどは、広範な補助的な OOD コーパスまたは特定のトレーニング パラダイムに依存しています。
ただし、モデルはドメイン内とドメイン外の意図に対する信頼性を区別する必要があるという基本原則が未開発です。
この研究では、OOD に対するモデルの過信の根本的な原因を解明し、過大パラメータ化されたモデルを枝刈りすることで調整されたサブネットワークを明らかにできることを実証します。
サブネットワークによって提供される調整された信頼性により、ドメイン内とドメイン外をより適切に区別できるため、ほぼすべてのポストホック手法にとって利点となります。
基本的な洞察をもたらすことに加えて、宝くじ仮説をオープンワールドのシナリオにも拡張します。
私たちは、4 つの現実世界のデータセットで広範な実験を実施し、私たちのアプローチが一連の競合ベースラインと比較して一貫した改善を確立できることを実証しました。

要約(オリジナル)

Most existing methods of Out-of-Domain (OOD) intent classification rely on extensive auxiliary OOD corpora or specific training paradigms. However, they are underdeveloped in the underlying principle that the models should have differentiated confidence in In- and Out-of-domain intent. In this work, we shed light on the fundamental cause of model overconfidence on OOD and demonstrate that calibrated subnetworks can be uncovered by pruning the overparameterized model. Calibrated confidence provided by the subnetwork can better distinguish In- and Out-of-domain, which can be a benefit for almost all post hoc methods. In addition to bringing fundamental insights, we also extend the Lottery Ticket Hypothesis to open-world scenarios. We conduct extensive experiments on four real-world datasets to demonstrate our approach can establish consistent improvements compared with a suite of competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google