Extremely Simple Multimodal Outlier Synthesis for Out-of-Distribution Detection and Segmentation

要約

分散除外（OOD）検出とセグメンテーションは、自律運転やロボット支援手術などの安全性の高いアプリケーションに機械学習モデルを展開するために重要です。
以前の研究は主に単峰性の画像データに焦点を当てていますが、実際のアプリケーションは本質的にマルチモーダルであり、OOD検出の改善のために複数のモダリティを統合する必要があります。
重要な課題は、未知のデータからの監督信号の欠如であり、OODサンプルの自信過剰予測につながることです。
この課題に対処するために、特徴のミキシングを提案します。これは、理論的サポートを備えたマルチモーダルの外れ値合成の非常にシンプルで高速な方法です。これは、モデルが分散貢献（ID）とOODデータをよりよく区別できるようにさらに最適化できます。
特徴のミキシングはモダリティに依存しており、さまざまなモダリティの組み合わせに適用できます。
さらに、さまざまなシーンや気象条件にわたる合成OODオブジェクトを備えたOODセグメンテーション用の新しいマルチモーダルデータセットであるCarla-Ooodを紹介します。
Semantickitti、Nuscenes、Carla-Ooodデータセット、およびマルチウードベンチマークに関する広範な実験は、機能ミキシングが$ 10 \ Times $から370 \ Times $ speedupで最先端のパフォーマンスを達成することを示しています。
ソースコードとデータセットは、https：//github.com/mona4399/featuremixingで入手できます。

要約(オリジナル)

Out-of-distribution (OOD) detection and segmentation are crucial for deploying machine learning models in safety-critical applications such as autonomous driving and robot-assisted surgery. While prior research has primarily focused on unimodal image data, real-world applications are inherently multimodal, requiring the integration of multiple modalities for improved OOD detection. A key challenge is the lack of supervision signals from unknown data, leading to overconfident predictions on OOD samples. To address this challenge, we propose Feature Mixing, an extremely simple and fast method for multimodal outlier synthesis with theoretical support, which can be further optimized to help the model better distinguish between in-distribution (ID) and OOD data. Feature Mixing is modality-agnostic and applicable to various modality combinations. Additionally, we introduce CARLA-OOD, a novel multimodal dataset for OOD segmentation, featuring synthetic OOD objects across diverse scenes and weather conditions. Extensive experiments on SemanticKITTI, nuScenes, CARLA-OOD datasets, and the MultiOOD benchmark demonstrate that Feature Mixing achieves state-of-the-art performance with a $10 \times$ to $370 \times$ speedup. Our source code and dataset will be available at https://github.com/mona4399/FeatureMixing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google