Spatial-information Guided Adaptive Context-aware Network for Efficient RGB-D Semantic Segmentation

要約

効率的な RGB-D セマンティック セグメンテーションは、環境情報の分析と認識において重要な役割を果たす移動ロボットにおいて大きな注目を集めています。
以前の研究によると、奥行き情報はオブジェクトとシーンに対応する幾何学的関係を提供しますが、実際の奥行きデータは通常ノイズとして存在します。
セグメンテーションの精度と計算に対する悪影響を回避するには、クロスモーダル相関と補完的なキューを活用する効率的なフレームワークを設計する必要があります。
この論文では、計算パラメータを削減し、アルゴリズムの堅牢性を保証する、効率的で軽量なエンコーダ/デコーダ ネットワークを提案します。
チャネルおよび空間フュージョン アテンション モジュールと連携して、当社のネットワークはマルチレベル RGB-D 特徴を効果的にキャプチャします。
十分な高レベルのコンテキスト情報を取得するために、グローバルにガイドされたローカル アフィニティ コンテキスト モジュールが提案されています。
デコーダは、短距離情報と長距離情報をいくつかの冗長な計算と組み合わせる軽量の残差ユニットを利用します。
NYUv2、SUN RGB-D、および Cityscapes データセットの実験結果は、私たちの方法が最先端の方法よりもセグメンテーションの精度、推論時間、パラメーターの間で優れたトレードオフを達成していることを示しています。
ソースコードは https://github.com/MVME-HBUT/SGACNet にあります。

要約(オリジナル)

Efficient RGB-D semantic segmentation has received considerable attention in mobile robots, which plays a vital role in analyzing and recognizing environmental information. According to previous studies, depth information can provide corresponding geometric relationships for objects and scenes, but actual depth data usually exist as noise. To avoid unfavorable effects on segmentation accuracy and computation, it is necessary to design an efficient framework to leverage cross-modal correlations and complementary cues. In this paper, we propose an efficient lightweight encoder-decoder network that reduces the computational parameters and guarantees the robustness of the algorithm. Working with channel and spatial fusion attention modules, our network effectively captures multi-level RGB-D features. A globally guided local affinity context module is proposed to obtain sufficient high-level context information. The decoder utilizes a lightweight residual unit that combines short- and long-distance information with a few redundant computations. Experimental results on NYUv2, SUN RGB-D, and Cityscapes datasets show that our method achieves a better trade-off among segmentation accuracy, inference time, and parameters than the state-of-the-art methods. The source code will be at https://github.com/MVME-HBUT/SGACNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google