Supervision Adaptation Balancing In-distribution Generalization and Out-of-distribution Detection

要約

配布内 (ID) サンプルと配布外 (OOD) サンプル間の不一致は、ディープ ニューラル ネットワークに \textit{配布上の脆弱性} を引き起こす可能性があり、その後、OOD サンプルの信頼性の高い予測につながる可能性があります。
これは主に、トレーニング中に OOD サンプルが存在せず、ネットワークを適切に制約できないことが原因です。
この問題に取り組むために、いくつかの最先端の方法には、トレーニングに追加の OOD サンプルを追加し、それらに手動で定義されたラベルを割り当てることが含まれています。
ただし、この方法では信頼性の低いラベル付けが発生し、ID 分類に悪影響を及ぼす可能性があります。
この分布の脆弱性は、ID の一般化と OOD 検出のバランスを取ることで OOD に耐性のある ID 分類を目指す非 IID ディープラーニングにとって重大な課題となります。
この論文では、OOD サンプルの適応監視情報を生成し、ID サンプルとの互換性を高めるための新しい \textit{監視適応} アプローチを紹介します。
まず、相互情報量を使用して ID サンプルとそのラベル間の依存関係を測定し、監視情報がすべてのクラスにわたる負の確率で表現できることを明らかにします。
次に、より明確に分離可能な ID クラスの監視情報を改良することを目的として、一連の二項回帰問題を解くことで ID サンプルと OOD サンプル間のデータ相関関係を調査します。
4 つの高度なネットワーク アーキテクチャ、2 つの ID データセット、および 11 の多様な OOD データセットに関する広範な実験により、ID 分類と OOD 検出機能の両方を向上させる監視適応アプローチの有効性が実証されました。

要約(オリジナル)

The discrepancy between in-distribution (ID) and out-of-distribution (OOD) samples can lead to \textit{distributional vulnerability} in deep neural networks, which can subsequently lead to high-confidence predictions for OOD samples. This is mainly due to the absence of OOD samples during training, which fails to constrain the network properly. To tackle this issue, several state-of-the-art methods include adding extra OOD samples to training and assign them with manually-defined labels. However, this practice can introduce unreliable labeling, negatively affecting ID classification. The distributional vulnerability presents a critical challenge for non-IID deep learning, which aims for OOD-tolerant ID classification by balancing ID generalization and OOD detection. In this paper, we introduce a novel \textit{supervision adaptation} approach to generate adaptive supervision information for OOD samples, making them more compatible with ID samples. Firstly, we measure the dependency between ID samples and their labels using mutual information, revealing that the supervision information can be represented in terms of negative probabilities across all classes. Secondly, we investigate data correlations between ID and OOD samples by solving a series of binary regression problems, with the goal of refining the supervision information for more distinctly separable ID classes. Our extensive experiments on four advanced network architectures, two ID datasets, and eleven diversified OOD datasets demonstrate the efficacy of our supervision adaptation approach in improving both ID classification and OOD detection capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google