Depth-Adapted CNNs for RGB-D Semantic Segmentation

要約

近年のRGB-Dセマンティックセグメンテーションは、入力側から補完的なモダリティにアクセスできるため、研究意欲が高まっている。既存の研究では、測光情報と幾何情報を並行して処理する2ストリームアーキテクチャを採用することが多く、RGB画像上のサンプリング位置を調整するために奥行きキューの寄与を明示的に利用する手法はほとんどない。本論文では、Z-ACN（Depth-Adapted CNN）と呼ばれる、RGB畳み込みニューラルネットワーク（CNN）に奥行き情報を組み込むための新しいフレームワークを提案します。具体的には、Z-ACNはRGB画像の特徴抽出を導くために、低レベル特徴によって完全に制約された2次元奥行き適応型オフセットを生成する。生成されたオフセットを用いて、我々は基本的なCNN演算子を置き換えるために、2つの直感的で効果的な演算、すなわち深度適応型畳み込みと深度適応型平均プーリング、を導入する。屋内と屋外の両方の意味的セグメンテーションタスクに対する広範な実験により、我々のアプローチの有効性を実証する。

要約(オリジナル)

Recent RGB-D semantic segmentation has motivated research interest thanks to the accessibility of complementary modalities from the input side. Existing works often adopt a two-stream architecture that processes photometric and geometric information in parallel, with few methods explicitly leveraging the contribution of depth cues to adjust the sampling position on RGB images. In this paper, we propose a novel framework to incorporate the depth information in the RGB convolutional neural network (CNN), termed Z-ACN (Depth-Adapted CNN). Specifically, our Z-ACN generates a 2D depth-adapted offset which is fully constrained by low-level features to guide the feature extraction on RGB images. With the generated offset, we introduce two intuitive and effective operations to replace basic CNN operators: depth-adapted convolution and depth-adapted average pooling. Extensive experiments on both indoor and outdoor semantic segmentation tasks demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL