CMX: Cross-Modal Fusion for RGB-X Semantic Segmentation with Transformers

要約

画像セグメンテーションに基づくシーンの理解は、自動運転車の重要なコンポーネントです。
RGB 画像のピクセル単位のセマンティック セグメンテーションは、補助モダリティ (X モダリティ) の補完的な機能を活用することで高度化できます。
ただし、モダリティに依存しないモデルでさまざまなセンサーをカバーすることは、モダリティごとにセンサー特性が異なるため、未解決の問題のままです。
以前のモダリティ固有の方法とは異なり、この研究では、RGB-X セマンティック セグメンテーション用の統合融合フレームワーク CMX を提案します。
不確実性だけでなくサプリメントも含まれることが多い、さまざまなモダリティ間で適切に一般化するには、統一されたクロスモーダル相互作用がモダリティ融合にとって重要です。
具体的には、一方のモダリティの特徴を利用して他方のモダリティの特徴を修正することにより、バイモーダル特徴を調整するクロスモーダル特徴修正モジュール (CM-FRM) を設計します。
調整された特徴ペアを使用して、特徴融合モジュール (FFM) を導入して、混合する前に長距離コンテキストの十分な交換を実行します。
CMX を検証するために、RGB を補完する 5 つのモダリティ (深度、熱、偏光、イベント、LiDAR) を初めて統合しました。
広範な実験により、CMX が多様なマルチモーダル フュージョンにうまく一般化し、5 つの RGB-Depth ベンチマーク、RGB-Thermal、RGB-Polarization、および RGB-LiDAR データセットで最先端のパフォーマンスを達成することが示されています。
さらに、密-疎データ融合の一般化可能性を調査するために、CMX が新しい最先端を設定する EventScape データセットに基づいて RGB イベント セマンティック セグメンテーション ベンチマークを確立します。
CMX のソース コードは、https://github.com/huaaaliu/RGBX_Semantic_Segmentation で公開されています。

要約(オリジナル)

Scene understanding based on image segmentation is a crucial component of autonomous vehicles. Pixel-wise semantic segmentation of RGB images can be advanced by exploiting complementary features from the supplementary modality (X-modality). However, covering a wide variety of sensors with a modality-agnostic model remains an unresolved problem due to variations in sensor characteristics among different modalities. Unlike previous modality-specific methods, in this work, we propose a unified fusion framework, CMX, for RGB-X semantic segmentation. To generalize well across different modalities, that often include supplements as well as uncertainties, a unified cross-modal interaction is crucial for modality fusion. Specifically, we design a Cross-Modal Feature Rectification Module (CM-FRM) to calibrate bi-modal features by leveraging the features from one modality to rectify the features of the other modality. With rectified feature pairs, we deploy a Feature Fusion Module (FFM) to perform sufficient exchange of long-range contexts before mixing. To verify CMX, for the first time, we unify five modalities complementary to RGB, i.e., depth, thermal, polarization, event, and LiDAR. Extensive experiments show that CMX generalizes well to diverse multi-modal fusion, achieving state-of-the-art performances on five RGB-Depth benchmarks, as well as RGB-Thermal, RGB-Polarization, and RGB-LiDAR datasets. Besides, to investigate the generalizability to dense-sparse data fusion, we establish an RGB-Event semantic segmentation benchmark based on the EventScape dataset, on which CMX sets the new state-of-the-art. The source code of CMX is publicly available at https://github.com/huaaaliu/RGBX_Semantic_Segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google