Pseudo Outlier Exposure for Out-of-Distribution Detection using Pretrained Transformers

要約

実際の言語アプリケーションの場合、配布外 (OOD) サンプルを検出すると、ユーザーに警告したり、そのような信頼性の低いサンプルを拒否したりするのに役立ちます。
ただし、現代の過剰にパラメータ化された言語モデルは、ディストリビューション (ID) サンプルと OOD サンプルの両方に対して自信過剰な予測を生成することがよくあります。
特に、言語モデルは、ID サンプルと同様の意味論的表現を持つ OOD サンプルの影響を受けます。これは、これらの OOD サンプルが ID 多様体の近くにあるためです。
拒否ネットワークは、テスト OOD サンプルを検出するために ID とさまざまな外れ値サンプルを使用してトレーニングできますが、補助 OOD データセットを明示的に収集すると、データ収集にさらなる負担がかかります。
この論文では、ID クラスに関連するトークンを順次マスクすることによって代理 OOD データセットを構築する Pseudo Outlier Exposure (POE) と呼ばれる、シンプルだが効果的な方法を提案します。
POE によって導入されたサロゲート OOD サンプルは、ID データと同様の表現を示しており、拒否ネットワークのトレーニングに最も効果的です。
私たちの方法は外部 OOD データを必要とせず、既製の Transformer 内に簡単に実装できます。
最先端のアルゴリズムとの包括的な比較により、いくつかのテキスト分類ベンチマークにおける POE の競争力が実証されています。

要約(オリジナル)

For real-world language applications, detecting an out-of-distribution (OOD) sample is helpful to alert users or reject such unreliable samples. However, modern over-parameterized language models often produce overconfident predictions for both in-distribution (ID) and OOD samples. In particular, language models suffer from OOD samples with a similar semantic representation to ID samples since these OOD samples lie near the ID manifold. A rejection network can be trained with ID and diverse outlier samples to detect test OOD samples, but explicitly collecting auxiliary OOD datasets brings an additional burden for data collection. In this paper, we propose a simple but effective method called Pseudo Outlier Exposure (POE) that constructs a surrogate OOD dataset by sequentially masking tokens related to ID classes. The surrogate OOD sample introduced by POE shows a similar representation to ID data, which is most effective in training a rejection network. Our method does not require any external OOD data and can be easily implemented within off-the-shelf Transformers. A comprehensive comparison with state-of-the-art algorithms demonstrates POE’s competitiveness on several text classification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google