EDGE: Unknown-aware Multi-label Learning by Energy Distribution Gap Expansion

要約

マルチラベルの配信外 (OOD) 検出は、OOD サンプルをマルチラベルの配信内 (ID) サンプルから区別することを目的としています。
マルチクラスの対応物と比較して、クラス間の結合情報をモデル化することが重要です。
この目的のために、代表的なマルチラベル OOD 推論基準である JointEnergy は、すべてのクラスのロジットを要約します。
ただし、特にモデルに十分な識別能力がない場合、JointEnergy は OOD 検出において不均衡の問題を引き起こす可能性があることがわかりました。
具体的には、少数派クラスのみに関連するサンプルは、エネルギー決定境界があいまいであるため、OOD サンプルとして分類される傾向があることがわかります。
さらに、もともと ID 用に設計された不均衡なマルチラベル学習方法は、OOD 検出シナリオには適しておらず、重大なマイナスの伝達効果を生み出すことさえあります。
この論文では、補助外れ値エクスポージャー (OE) に頼って、不確実性エネルギー空間のレイアウトを再形成するために、未知を認識するマルチラベル学習フレームワークを提案します。
このフレームワークでは、テール ID サンプルと未知のサンプルのエネルギー スコアが個別に最適化され、それらの間のエネルギー分布ギャップが拡大されるため、テール ID サンプルは OOD サンプルよりも大幅に大きなエネルギー スコアを持つことができます。
さらに、より有益な OE データセットを選択するための、シンプルかつ効果的な手段が設計されています。
最後に、複数のマルチラベルおよび OOD データセットに関する包括的な実験結果により、提案された方法の有効性が明らかになります。

要約(オリジナル)

Multi-label Out-Of-Distribution (OOD) detection aims to discriminate the OOD samples from the multi-label In-Distribution (ID) ones. Compared with its multiclass counterpart, it is crucial to model the joint information among classes. To this end, JointEnergy, which is a representative multi-label OOD inference criterion, summarizes the logits of all the classes. However, we find that JointEnergy can produce an imbalance problem in OOD detection, especially when the model lacks enough discrimination ability. Specifically, we find that the samples only related to minority classes tend to be classified as OOD samples due to the ambiguous energy decision boundary. Besides, imbalanced multi-label learning methods, originally designed for ID ones, would not be suitable for OOD detection scenarios, even producing a serious negative transfer effect. In this paper, we resort to auxiliary outlier exposure (OE) and propose an unknown-aware multi-label learning framework to reshape the uncertainty energy space layout. In this framework, the energy score is separately optimized for tail ID samples and unknown samples, and the energy distribution gap between them is expanded, such that the tail ID samples can have a significantly larger energy score than the OOD ones. What’s more, a simple yet effective measure is designed to select more informative OE datasets. Finally, comprehensive experimental results on multiple multi-label and OOD datasets reveal the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google