Depth-aware Glass Surface Detection with Cross-modal Context Mining

要約

現代の建物は多くのガラスパネルを使用する傾向があるため、ガラス表面はますます普及しつつあります。
ただし、これは、ガラスパネルがナビゲーションの透明な障害物になる可能性があるため、ロボット、自動運転車、ドローンなどの自律システムの運用に大きな課題をもたらします。既存の作品は、ガラスの境界コンテキストや反射など、さまざまな手がかりを利用しようとしています。
事前。
ただし、これらはすべて入力RGB画像に基づいています.3D深度センサー光がガラス表面を透過すると、深度マップに空白の領域が生成されることが多く、ガラス表面検出用のRGB画像機能を補完する追加の洞察が得られます。
この論文では、RGB-D情報を組み込むことにより、ガラス表面検出の新しいフレームワークを提案します。2つの新しいモジュールがあります。（1）RGBと深度から個々のコンテキスト機能と相互コンテキスト機能を適応的に学習するクロスモーダルコンテキストマイニング（CCM）モジュール
情報、および（2）深さの欠落が発生する空間位置を明示的に活用してガラス表面の存在を検出するのに役立つ深さ欠落認識（DAA）モジュール。
さらに、RGB-Dガラス表面検出用に、\ textit{RGB-DGSD}と呼ばれる大規模なRGB-Dガラス表面検出データセットを提案します。
私たちのデータセットは、正確な注釈が付いた3,009の実世界のRGB-Dガラス表面画像で構成されています。
広範な実験結果は、提案されたモデルが最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Glass surfaces are becoming increasingly ubiquitous as modern buildings tend to use a lot of glass panels. This however poses substantial challenges on the operations of autonomous systems such as robots, self-driving cars and drones, as the glass panels can become transparent obstacles to the navigation.Existing works attempt to exploit various cues, including glass boundary context or reflections, as a prior. However, they are all based on input RGB images.We observe that the transmission of 3D depth sensor light through glass surfaces often produces blank regions in the depth maps, which can offer additional insights to complement the RGB image features for glass surface detection. In this paper, we propose a novel framework for glass surface detection by incorporating RGB-D information, with two novel modules: (1) a cross-modal context mining (CCM) module to adaptively learn individual and mutual context features from RGB and depth information, and (2) a depth-missing aware attention (DAA) module to explicitly exploit spatial locations where missing depths occur to help detect the presence of glass surfaces. In addition, we propose a large-scale RGB-D glass surface detection dataset, called \textit{RGB-D GSD}, for RGB-D glass surface detection. Our dataset comprises 3,009 real-world RGB-D glass surface images with precise annotations. Extensive experimental results show that our proposed model outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google