Completion as Enhancement: A Degradation-Aware Selective Image Guided Network for Depth Completion

要約

このホワイトペーパーでは、深さの完了を初めて深度強化に変換する新しい劣化アウェアフレームワークであるSelective Image Guided Network（Signet）を紹介します。
畳み込みニューラルネットワーク（CNNS）を使用して直接的な完成を超えて移動するSignetは、最初は非CNN密度化ツールを介してまばらな深さデータを濃くして、粗いが密な深さを取得します。
このアプローチは、不規則にサンプリングされたスパースデータに対する直接的な畳み込みによって引き起こされる不一致と曖昧さを排除します。
その後、Signetは完成を強化として再定義し、効果的なRGB-D融合のために粗い深さとターゲットの密な深さとの間に自己監視された分解ブリッジを確立します。
これを達成するために、Signetは暗黙の分解を活用して、RGBデータの高周波コンポーネント（エッジなど）を適応的に選択して、粗い深さを補正します。
この劣化は、マルチモーダル条件付きMAMBAにさらに統合され、状態パラメーターを動的に生成して、効率的なグローバルな高周波情報相互作用を可能にします。
NYUV2、DIML、SUN RGBD、およびTOFDCデータセットで広範な実験を実施し、Signetの最先端の（SOTA）パフォーマンスを実証します。

要約(オリジナル)

In this paper, we introduce the Selective Image Guided Network (SigNet), a novel degradation-aware framework that transforms depth completion into depth enhancement for the first time. Moving beyond direct completion using convolutional neural networks (CNNs), SigNet initially densifies sparse depth data through non-CNN densification tools to obtain coarse yet dense depth. This approach eliminates the mismatch and ambiguity caused by direct convolution over irregularly sampled sparse data. Subsequently, SigNet redefines completion as enhancement, establishing a self-supervised degradation bridge between the coarse depth and the targeted dense depth for effective RGB-D fusion. To achieve this, SigNet leverages the implicit degradation to adaptively select high-frequency components (e.g., edges) of RGB data to compensate for the coarse depth. This degradation is further integrated into a multi-modal conditional Mamba, dynamically generating the state parameters to enable efficient global high-frequency information interaction. We conduct extensive experiments on the NYUv2, DIML, SUN RGBD, and TOFDC datasets, demonstrating the state-of-the-art (SOTA) performance of SigNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google