Indoor Depth Completion with Boundary Consistency and Self-Attention

要約

3D認識には、深度推定機能が有効です。汎用的なデプスカメラは、奥行きとカラー画像をリアルタイムに取り込むことができる。しかし、光沢のある表面、透明な表面、遠くの表面は、センサーが適切にスキャンすることができない。そのため、奥行きを感知してからの強調・復元が重要な課題となっている。深度補完は、センサーが検出できなかった穴を埋めることを目的としており、機械が学習するにはまだ複雑なタスクである。従来の手作業で調整する方法は限界に達しており、ニューラルネットワークベースの方法は、周囲の深度値から出力をコピーして補間する傾向があります。そのため、境界が不鮮明になり、深度マップの構造も失われてしまう。そこで、本研究では、境界の明瞭性を維持しつつ、深度マップの補完性を向上させるエンドツーエンドネットワークを設計することを主眼とする。本研究では、画像修復の分野で用いられてきた自己注視機構を利用し、各畳み込み層でより有用な情報を抽出し、補完深度マップを向上させる。さらに、深度マップの品質と構造を向上させるために、境界の一貫性の概念を提案する。実験結果は、我々の自己注意と境界整合性スキーマの有効性を検証し、Matterport3Dデータセットにおける以前の最新鋭の深度補完作業を凌駕するものであった。我々のコードは、https://github.com/tsunghan-wu/Depth-Completion で公開されています。

要約(オリジナル)

Depth estimation features are helpful for 3D recognition. Commodity-grade depth cameras are able to capture depth and color image in real-time. However, glossy, transparent or distant surface cannot be scanned properly by the sensor. As a result, enhancement and restoration from sensing depth is an important task. Depth completion aims at filling the holes that sensors fail to detect, which is still a complex task for machine to learn. Traditional hand-tuned methods have reached their limits, while neural network based methods tend to copy and interpolate the output from surrounding depth values. This leads to blurred boundaries, and structures of the depth map are lost. Consequently, our main work is to design an end-to-end network improving completion depth maps while maintaining edge clarity. We utilize self-attention mechanism, previously used in image inpainting fields, to extract more useful information in each layer of convolution so that the complete depth map is enhanced. In addition, we propose boundary consistency concept to enhance the depth map quality and structure. Experimental results validate the effectiveness of our self-attention and boundary consistency schema, which outperforms previous state-of-the-art depth completion work on Matterport3D dataset. Our code is publicly available at https://github.com/tsunghan-wu/Depth-Completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL