CSL: Class-Agnostic Structure-Constrained Learning for Segmentation Including the Unseen

要約

Out-Of-Distribution (OOD) セグメンテーションと Zero-Shot Semantic Segmentation (ZS3) に対処することは困難であり、目に見えないクラスをセグメント化する必要があります。
既存の戦略は、特定のタスクに合わせてクラスに依存しない Mask2Former (CA-M2F) を適応させます。
ただし、これらの方法は単一のタスクに対応しており、ゼロからのトレーニングが必要であり、パフォーマンスに影響を与える CA-M2F の特定の欠陥が実証されています。
私たちは、既存の手法と統合できるプラグイン フレームワークであるクラスに依存しない構造制約学習 (CSL) を提案します。これにより、構造制約を埋め込み、目に見えないもの、特に OOD、ZS3、ドメイン アダプテーション (DA) を含むパフォーマンスの向上を実現します。
タスク。
CSL が既存の方法と統合するには 2 つのスキームがあります (1) ベースの教師ネットワークから知識を抽出し、トレーニングおよび推論フレーズ全体に制約を適用することによって、または (2) 確立されたモデルを活用して、再トレーニングせずにピクセルごとの分布を取得し、制約を追加することによって
推論フェーズ中。
私たちは、OOD オブジェクトのセグメンテーションを強化するソフト割り当てとマスク分割手法を提案します。
実証的評価は、OOD セグメンテーション、ZS3、DA セグメンテーションにわたる既存のアルゴリズムのパフォーマンスを向上させ、3 つのタスクすべてにわたって一貫して最先端のアルゴリズムを超える CSL の優れた能力を示しています。

要約(オリジナル)

Addressing Out-Of-Distribution (OOD) Segmentation and Zero-Shot Semantic Segmentation (ZS3) is challenging, necessitating segmenting unseen classes. Existing strategies adapt the class-agnostic Mask2Former (CA-M2F) tailored to specific tasks. However, these methods cater to singular tasks, demand training from scratch, and we demonstrate certain deficiencies in CA-M2F, which affect performance. We propose the Class-Agnostic Structure-Constrained Learning (CSL), a plug-in framework that can integrate with existing methods, thereby embedding structural constraints and achieving performance gain, including the unseen, specifically OOD, ZS3, and domain adaptation (DA) tasks. There are two schemes for CSL to integrate with existing methods (1) by distilling knowledge from a base teacher network, enforcing constraints across training and inference phrases, or (2) by leveraging established models to obtain per-pixel distributions without retraining, appending constraints during the inference phase. We propose soft assignment and mask split methodologies that enhance OOD object segmentation. Empirical evaluations demonstrate CSL’s prowess in boosting the performance of existing algorithms spanning OOD segmentation, ZS3, and DA segmentation, consistently transcending the state-of-art across all three tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google