Disentangle then Parse:Night-time Semantic Segmentation with Illumination Disentanglement

要約

従来のセマンティック セグメンテーション手法のほとんどは日中のシーン向けに開発されていますが、夜間のシーンでは不十分で複雑な照明条件のため通常パフォーマンスが低下します。
この研究では、新しい夜間セマンティック セグメンテーション パラダイム、つまり、Disentangle then Parse (DTP) を提案することで、この課題に取り組みます。
DTP は、夜間画像を光不変の反射率と光固有の照明コンポーネントに明示的に分解し、それらの適応融合に基づいてセマンティクスを認識します。
具体的には、提案される DTP は 2 つの重要なコンポーネントで構成されます。 1) 従来の研究のように照明エンタングルメント特徴を処理する代わりに、セマンティック指向ディエンタングルメント (SOD) フレームワークにより、照明によって妨げられることなく反射率成分を抽出できるため、ネットワークが一貫して
変化する複雑な照明条件に隠れてセマンティクスを認識します。
2) 照明コンポーネントがいくつかの意味的に混乱した領域の手掛かりとして機能する可能性があるという観察に基づいて、意味論と照明の間の相関関係を明示的に学習し、より多くの情報を得るために照明機能を集約するために、Illumination-Aware Parser (IAParser) をさらに導入します。
正確な予測。
さまざまな設定を使用した夜間のセグメンテーション タスクに関する広範な実験により、DTP が最先端の方法を大幅に上回ることが実証されました。
さらに、無視できる追加パラメータを使用して、DTP を直接使用して、夜間のセグメンテーションに対する既存の昼間の方法に利益をもたらすことができます。

要約(オリジナル)

Most prior semantic segmentation methods have been developed for day-time scenes, while typically underperforming in night-time scenes due to insufficient and complicated lighting conditions. In this work, we tackle this challenge by proposing a novel night-time semantic segmentation paradigm, i.e., disentangle then parse (DTP). DTP explicitly disentangles night-time images into light-invariant reflectance and light-specific illumination components and then recognizes semantics based on their adaptive fusion. Concretely, the proposed DTP comprises two key components: 1) Instead of processing lighting-entangled features as in prior works, our Semantic-Oriented Disentanglement (SOD) framework enables the extraction of reflectance component without being impeded by lighting, allowing the network to consistently recognize the semantics under cover of varying and complicated lighting conditions. 2) Based on the observation that the illumination component can serve as a cue for some semantically confused regions, we further introduce an Illumination-Aware Parser (IAParser) to explicitly learn the correlation between semantics and lighting, and aggregate the illumination features to yield more precise predictions. Extensive experiments on the night-time segmentation task with various settings demonstrate that DTP significantly outperforms state-of-the-art methods. Furthermore, with negligible additional parameters, DTP can be directly used to benefit existing day-time methods for night-time segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google