VI-OOD: A Unified Representation Learning Framework for Textual Out-of-distribution Detection

要約

分布外 (OOD) 検出は、さまざまなアプリケーションにおけるディープ ニューラル ネットワークの安全性と信頼性を確保する上で重要な役割を果たします。
視覚データにおける OOD 検出への注目が高まっている一方で、テキスト OOD 検出の分野はあまり注目されていません。
テキスト データの特性を適切に考慮せずに、一般的な OOD 検出方法を自然言語処理 (NLP) タスクに直接適用する試みはわずかしか行われていません。
このペーパーでは、Transformers を使用したテキスト OOD 検出について詳しく説明します。
まず、既存の OOD 検出手法に蔓延する重要な問題を特定します。それは、条件付き尤度 $p(y\mid x)$ の最大化を通じて学習された偏った表現により、パフォーマンスが標準以下になる可能性があるということです。
次に、$p(y\mid x)$ の代わりに同時分布 $p(x, y)$ の尤度を最大化する、OOD 検出のための新しい変分推論フレームワーク (VI-OOD) を提案します。
VI-OOD は、事前トレーニングされた Transformer の表現を効率的に利用することにより、テキスト OOD 検出用に調整されています。
さまざまなテキスト分類タスクに関する包括的な実験を通じて、VI-OOD はその有効性と幅広い適用性を実証します。
私たちのコードは \url{https://github.com/liam0949/LLM-OOD} でリリースされました。

要約(オリジナル)

Out-of-distribution (OOD) detection plays a crucial role in ensuring the safety and reliability of deep neural networks in various applications. While there has been a growing focus on OOD detection in visual data, the field of textual OOD detection has received less attention. Only a few attempts have been made to directly apply general OOD detection methods to natural language processing (NLP) tasks, without adequately considering the characteristics of textual data. In this paper, we delve into textual OOD detection with Transformers. We first identify a key problem prevalent in existing OOD detection methods: the biased representation learned through the maximization of the conditional likelihood $p(y\mid x)$ can potentially result in subpar performance. We then propose a novel variational inference framework for OOD detection (VI-OOD), which maximizes the likelihood of the joint distribution $p(x, y)$ instead of $p(y\mid x)$. VI-OOD is tailored for textual OOD detection by efficiently exploiting the representations of pre-trained Transformers. Through comprehensive experiments on various text classification tasks, VI-OOD demonstrates its effectiveness and wide applicability. Our code has been released at \url{https://github.com/liam0949/LLM-OOD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google