Stereo Superpixel Segmentation Via Decoupled Dynamic Spatial-Embedding Fusion Network

要約

ステレオ スーパーピクセル セグメンテーションは、より協調的かつ効率的に左右のビューを介して離散化ピクセルを知覚領域にグループ化することを目的としています。
既存のスーパーピクセル セグメンテーション アルゴリズムは、ほとんどの場合、入力として色と空間の特徴を利用します。これは、立体画像ペアの観点から視差情報を利用しながら、空間情報に強い制約を課す可能性があります。
この問題を軽減するために、この作業では空間情報のデカップリングメカニズムを備えたステレオスーパーピクセルセグメンテーション方法を提案します。
ステレオ視差情報と空間情報を分離するために、空間情報はステレオ画像ペアの特徴を融合する前に一時的に削除され、ステレオ特徴の位置合わせとオクルージョンの問題を処理するために分離ステレオ融合モジュール (DSFM) が提案されています。
さらに、空間情報はスーパーピクセル セグメンテーションに不可欠であるため、空間情報を再追加する動的空間埋め込みモジュール (DSEM) をさらに設計し、DSEM の動的融合 (DF) メカニズムを通じて空間情報の重みを適応的に調整します。
より細かいセグメンテーションを実現します。
包括的な実験結果は、私たちの方法が KITTI2015 および Cityscapes データセットで最先端のパフォーマンスを達成できることを示し、NJU2K データセットでの顕著なオブジェクト検出に適用された場合の効率も検証します。
ソースコードは、論文が受理された後に公開されます。

要約(オリジナル)

Stereo superpixel segmentation aims at grouping the discretizing pixels into perceptual regions through left and right views more collaboratively and efficiently. Existing superpixel segmentation algorithms mostly utilize color and spatial features as input, which may impose strong constraints on spatial information while utilizing the disparity information in terms of stereo image pairs. To alleviate this issue, we propose a stereo superpixel segmentation method with a decoupling mechanism of spatial information in this work. To decouple stereo disparity information and spatial information, the spatial information is temporarily removed before fusing the features of stereo image pairs, and a decoupled stereo fusion module (DSFM) is proposed to handle the stereo features alignment as well as occlusion problems. Moreover, since the spatial information is vital to superpixel segmentation, we further design a dynamic spatiality embedding module (DSEM) to re-add spatial information, and the weights of spatial information will be adaptively adjusted through the dynamic fusion (DF) mechanism in DSEM for achieving a finer segmentation. Comprehensive experimental results demonstrate that our method can achieve the state-of-the-art performance on the KITTI2015 and Cityscapes datasets, and also verify the efficiency when applied in salient object detection on NJU2K dataset. The source code will be available publicly after paper is accepted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google