Semantic Role Labeling Guided Out-of-distribution Detection

要約

自然言語処理において予期せぬドメインシフトのインスタンスを特定することは、現実世界のアプリケーションでは非常に重要です。
これまでの研究では、文を表現するために埋め込まれた単一のグローバルな特徴を活用することで OOD インスタンスを識別していましたが、これでは微妙な OOD パターンを十分に特徴付けることができませんでした。
現在の OOD メソッドが直面しているもう 1 つの大きな課題は、ID データと意味的に類似したハード OOD インスタンスを識別するための効果的な低次元文表現を学習することです。
この論文では、新しい教師なし OOD 検出方法、つまりセマンティック ロール ラベリング ガイド付き分布外検出 (SRLOOD) を提案します。
文のさまざまな引数と、マージンベースのコントラスト損失を使用した文全体のグローバル特徴表現。
SRL 抽出された役割を予測することで、このようなグローバル/ローカル特徴学習を強化するための新しい自己教師ありアプローチも導入されています。
結果のモデルは 4 つの OOD ベンチマークで SOTA パフォーマンスを達成しており、アプローチの有効性を示しています。
コードは承認され次第利用可能になります。

要約(オリジナル)

Identifying unexpected domain-shifted instances in natural language processing is crucial in real-world applications. Previous works identify the OOD instance by leveraging a single global feature embedding to represent the sentence, which cannot characterize subtle OOD patterns well. Another major challenge current OOD methods face is learning effective low-dimensional sentence representations to identify the hard OOD instances that are semantically similar to the ID data. In this paper, we propose a new unsupervised OOD detection method, namely Semantic Role Labeling Guided Out-of-distribution Detection (SRLOOD), that separates, extracts, and learns the semantic role labeling (SRL) guided fine-grained local feature representations from different arguments of a sentence and the global feature representations of the full sentence using a margin-based contrastive loss. A novel self-supervised approach is also introduced to enhance such global-local feature learning by predicting the SRL extracted role. The resulting model achieves SOTA performance on four OOD benchmarks, indicating the effectiveness of our approach. Codes will be available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google