Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts

要約

新しいクラスとドメインの両方が存在する可能性があるオープンワールドのシナリオでは、理想的なセグメンテーション モデルは安全のために異常クラスを検出し、新しいドメインに一般化する必要があります。
ただし、既存の方法では、ドメイン レベルとセマンティック レベルの分散シフトを区別するのに苦労することが多く、その結果、分散外 (OOD) の検出やドメイン汎化のパフォーマンスが低下します。
この研究では、意味シフト領域を正確に特定しながら、共変量シフト領域に効果的に一般化するモデルを装備することを目的としています。
これを達成するために、異常 (または新規) オブジェクトとさまざまな共変量シフトの両方を画像レベルとオブジェクト レベルの両方で組み込んだ一貫した画像を生成する新しい生成拡張手法を設計します。
さらに、セマンティックシフトに特化して不確実性を再調整し、ドメインシフトに関連する特徴を調整するために特徴抽出機能を強化するトレーニング戦略を導入します。
セマンティックシフトとドメインシフトの両方を特徴とするベンチマーク全体でこの手法の有効性を検証します。
私たちの手法は、OOD 検出とドメイン一般化の両方のすべてのベンチマークにわたって最先端のパフォーマンスを達成します。
コードは https://github.com/gaozhitong/MultiShiftSeg で入手できます。

要約(オリジナル)

In open-world scenarios, where both novel classes and domains may exist, an ideal segmentation model should detect anomaly classes for safety and generalize to new domains. However, existing methods often struggle to distinguish between domain-level and semantic-level distribution shifts, leading to poor out-of-distribution (OOD) detection or domain generalization performance. In this work, we aim to equip the model to generalize effectively to covariate-shift regions while precisely identifying semantic-shift regions. To achieve this, we design a novel generative augmentation method to produce coherent images that incorporate both anomaly (or novel) objects and various covariate shifts at both image and object levels. Furthermore, we introduce a training strategy that recalibrates uncertainty specifically for semantic shifts and enhances the feature extractor to align features associated with domain shifts. We validate the effectiveness of our method across benchmarks featuring both semantic and domain shifts. Our method achieves state-of-the-art performance across all benchmarks for both OOD detection and domain generalization. Code is available at https://github.com/gaozhitong/MultiShiftSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google