SparseFormer: Attention-based Depth Completion Network

要約

拡張現実感やバーチャルリアリティのためのパイプラインの多くは、疎な3Dランドマークのマップを作成することによってカメラのエゴモーションを推定する。本論文では、奥行き補完の問題、すなわち、RGB画像をガイダンスとして用いてこの疎な3Dマップを高密度化することに取り組んでいる。これは、SfMやSLAMパイプラインによって生成される低密度、非均一、外れやすい3Dランドマークのため、依然として困難な問題である。我々は、SparseFormerという変換ブロックを導入し、3Dランドマークと深い視覚的特徴を融合させ、高密度な深度を生成する。SparseFormerはグローバルな受容野を持つため、低密度で不均一なランドマークによる奥行き補完に特に有効なモジュールである。3Dランドマーク間の深度異常の問題に対処するために、我々は、スパースランドマーク間の注目によって異常値をフィルタリングする訓練可能な洗練化モジュールを導入する。

要約(オリジナル)

Most pipelines for Augmented and Virtual Reality estimate the ego-motion of the camera by creating a map of sparse 3D landmarks. In this paper, we tackle the problem of depth completion, that is, densifying this sparse 3D map using RGB images as guidance. This remains a challenging problem due to the low density, non-uniform and outlier-prone 3D landmarks produced by SfM and SLAM pipelines. We introduce a transformer block, SparseFormer, that fuses 3D landmarks with deep visual features to produce dense depth. The SparseFormer has a global receptive field, making the module especially effective for depth completion with low-density and non-uniform landmarks. To address the issue of depth outliers among the 3D landmarks, we introduce a trainable refinement module that filters outliers through attention between the sparse landmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL