Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation

要約

RGB-T セマンティック セグメンテーションは、RGB と熱画像のさまざまなモダリティ機能を融合することで、照明条件が劣悪な厳しいシーンを処理するために広く採用されています。
既存の方法は、セグメンテーションに最適な融合特徴を見つけようとするため、モダリティ ノイズ、クラスの不均衡、モダリティ バイアスに対する感度が高くなります。
この問題を克服するために、本論文では、融合特徴を確率変数と見なし、融合特徴の複数のサンプルの下でセグメンテーション結果を平均することによってロバストなセグメンテーションを取得する、新しい変分確率融合ネットワーク (VPFNet) を提案します。
VPFNet における融合特徴のランダム サンプル生成は、変動注意に基づいて設計された新しい変動特徴融合モジュール (VFFM) によって実現されます。
クラス不均衡とモダリティバイアスをさらに回避するために、重み付きクロスエントロピー損失を採用し、提案された VFFM を制御するために照明とカテゴリの事前情報を導入します。
MFNet および PST900 データセットに関する実験結果は、提案された VPFNet が最先端のセグメンテーション パフォーマンスを達成できることを示しています。

要約(オリジナル)

RGB-T semantic segmentation has been widely adopted to handle hard scenes with poor lighting conditions by fusing different modality features of RGB and thermal images. Existing methods try to find an optimal fusion feature for segmentation, resulting in sensitivity to modality noise, class-imbalance, and modality bias. To overcome the problems, this paper proposes a novel Variational Probabilistic Fusion Network (VPFNet), which regards fusion features as random variables and obtains robust segmentation by averaging segmentation results under multiple samples of fusion features. The random samples generation of fusion features in VPFNet is realized by a novel Variational Feature Fusion Module (VFFM) designed based on variation attention. To further avoid class-imbalance and modality bias, we employ the weighted cross-entropy loss and introduce prior information of illumination and category to control the proposed VFFM. Experimental results on MFNet and PST900 datasets demonstrate that the proposed VPFNet can achieve state-of-the-art segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google