SpiderMesh: Spatial-aware Demand-guided Recursive Meshing for RGB-T Semantic Segmentation

要約

都市のシーンを理解するためのセマンティック セグメンテーションでは、RGB カメラだけでは、特に困難な照明条件では、明確な全体論的トポロジーをキャプチャできないことがよくあります。
熱信号は、低品質の RGB 画像のぼやけた領域の輪郭ときめの細かいテクスチャを明らかにする有益な追加チャネルです。
RGB-T (熱) セグメンテーションを目指して、既存の方法は、単純なパッシブ チャネル/空間的融合を使用してクロスモーダル インタラクションを行うか、あいまいな境界の重いラベル付けに依存してきめの細かい監視を行います。
空間認識型のデマンド ガイド型再帰メッシング (SpiderMesh) フレームワークを提案します。1) デマンド ガイド型のターゲット マスキング アルゴリズムを介して、光学的に障害のある領域の不適切なコンテキスト セマンティクスを積極的に補償します。
2) 再帰的メッシングを使用してマルチモーダル セマンティック機能を改良し、ピクセル レベルのセマンティック分析パフォーマンスを向上させます。
さらに、非対称データ拡張手法 M-CutOut を導入し、半教師あり学習を有効にして、実際の使用ではまばらにしか利用できない RGB-T ラベルを完全に利用できるようにします。
MFNet および PST900 データセットでの広範な実験により、SpiderMesh が標準の RGB-T セグメンテーション ベンチマークで最先端のパフォーマンスを実現することが実証されました。

要約(オリジナル)

For semantic segmentation in urban scene understanding, RGB cameras alone often fail to capture a clear holistic topology, especially in challenging lighting conditions. Thermal signal is an informative additional channel that can bring to light the contour and fine-grained texture of blurred regions in low-quality RGB image. Aiming at RGB-T (thermal) segmentation, existing methods either use simple passive channel/spatial-wise fusion for cross-modal interaction, or rely on heavy labeling of ambiguous boundaries for fine-grained supervision. We propose a Spatial-aware Demand-guided Recursive Meshing (SpiderMesh) framework that: 1) proactively compensates inadequate contextual semantics in optically-impaired regions via a demand-guided target masking algorithm; 2) refines multimodal semantic features with recursive meshing to improve pixel-level semantic analysis performance. We further introduce an asymmetric data augmentation technique M-CutOut, and enable semi-supervised learning to fully utilize RGB-T labels only sparsely available in practical use. Extensive experiments on MFNet and PST900 datasets demonstrate that SpiderMesh achieves new state-of-the-art performance on standard RGB-T segmentation benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google