MultiOOD: Scaling Out-of-Distribution Detection for Multiple Modalities

要約

自動運転やロボット支援手術などの安全性が重要なアプリケーションに機械学習モデルを導入するには、配布外 (OOD) サンプルの検出が重要です。
既存の研究は主に画像データの単峰性シナリオに焦点を当ててきました。
ただし、実際のアプリケーションは本質的にマルチモーダルであるため、OOD 検出の有効性を高めるには、複数のモダリティからの情報を活用することが不可欠です。
より現実的なマルチモーダル OOD 検出の基盤を確立するために、多様なデータセット サイズとさまざまなモダリティの組み合わせを特徴とする、この種では初のベンチマークである MultiOOD を導入します。
まず、MultiOOD 上の既存のユニモーダル OOD 検出アルゴリズムを評価し、追加のモダリティを組み込むだけで大幅な改善が得られることを観察しました。
これは、OOD 検出に複数のモダリティを利用することの重要性を強調しています。
分布内 (ID) データと OOD データの間のモダリティ予測の不一致、および OOD パフォーマンスとの強い相関関係の観察に基づいて、トレーニング中にそのような不一致を促進するための同意-不同意 (A2D) アルゴリズムを提案します。
さらに、最近傍クラスからの情報を活用してより広範な特徴空間を探索し、A2D を補完して OOD 検出パフォーマンスを強化する、新しい外れ値合成手法 NP-Mix を紹介します。
MultiOOD に関する広範な実験により、A2D と NP-Mix を使用したトレーニングにより、既存の OOD 検出アルゴリズムが大幅に改善されることが実証されました。
ソース コードと MultiOOD ベンチマークは、https://github.com/donghao51/MultiOOD で入手できます。

要約(オリジナル)

Detecting out-of-distribution (OOD) samples is important for deploying machine learning models in safety-critical applications such as autonomous driving and robot-assisted surgery. Existing research has mainly focused on unimodal scenarios on image data. However, real-world applications are inherently multimodal, which makes it essential to leverage information from multiple modalities to enhance the efficacy of OOD detection. To establish a foundation for more realistic Multimodal OOD Detection, we introduce the first-of-its-kind benchmark, MultiOOD, characterized by diverse dataset sizes and varying modality combinations. We first evaluate existing unimodal OOD detection algorithms on MultiOOD, observing that the mere inclusion of additional modalities yields substantial improvements. This underscores the importance of utilizing multiple modalities for OOD detection. Based on the observation of Modality Prediction Discrepancy between in-distribution (ID) and OOD data, and its strong correlation with OOD performance, we propose the Agree-to-Disagree (A2D) algorithm to encourage such discrepancy during training. Moreover, we introduce a novel outlier synthesis method, NP-Mix, which explores broader feature spaces by leveraging the information from nearest neighbor classes and complements A2D to strengthen OOD detection performance. Extensive experiments on MultiOOD demonstrate that training with A2D and NP-Mix improves existing OOD detection algorithms by a large margin. Our source code and MultiOOD benchmark are available at https://github.com/donghao51/MultiOOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google