CFPNet: Improving Lightweight ToF Depth Completion via Cross-zone Feature Propagation

要約

軽量の飛行時間型 (ToF) 深度センサーを使用した深度補完は、低コストであるため魅力的です。
ただし、軽量の ToF センサーは通常、カメラに比べて視野 (FOV) が限られています。
したがって、画像のゾーン領域内のピクセルのみを深度信号に関連付けることができます。
従来の方法では、深度特徴をゾーン領域からゾーン外領域に効果的に伝播することができず、そのため、ゾーン外での深度補完パフォーマンスが低下するという問題がありました。
この目的を達成するために、この論文では、2 つの新しいモジュールを使用して、ゾーン領域からゾーン外領域へのクロスゾーン特徴伝播を実現する CFPNet を提案します。
1 つ目は、ダイレクト アテンション ベースの伝播モジュール (DAPM) で、直接クロスゾーンの特徴取得を強制します。
2 つ目は、ラージ カーネル ベースの伝播モジュール (LKPM) で、カーネル サイズが最大 31 の畳み込み層を利用することでクロスゾーン特徴伝播を実現します。CFPNet は、これらを組み合わせることで最先端 (SOTA) の深度補完パフォーマンスを実現します。
ZJU-L5 データセットに関する広範な実験結果によって検証されたように、これら 2 つのモジュールが適切に機能していることがわかります。
コードは公開されます。

要約(オリジナル)

Depth completion using lightweight time-of-flight (ToF) depth sensors is attractive due to their low cost. However, lightweight ToF sensors usually have a limited field of view (FOV) compared with cameras. Thus, only pixels in the zone area of the image can be associated with depth signals. Previous methods fail to propagate depth features from the zone area to the outside-zone area effectively, thus suffering from degraded depth completion performance outside the zone. To this end, this paper proposes the CFPNet to achieve cross-zone feature propagation from the zone area to the outside-zone area with two novel modules. The first is a direct-attention-based propagation module (DAPM), which enforces direct cross-zone feature acquisition. The second is a large-kernel-based propagation module (LKPM), which realizes cross-zone feature propagation by utilizing convolution layers with kernel sizes up to 31. CFPNet achieves state-of-the-art (SOTA) depth completion performance by combining these two modules properly, as verified by extensive experimental results on the ZJU-L5 dataset. The code will be made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google