NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection

要約

NeRF-Det は、NeRF を革新的に利用して表現学習を強化することにより、屋内マルチビュー 3D 検出で優れたパフォーマンスを達成しました。
その注目すべきパフォーマンスにもかかわらず、意味論的な曖昧さ、不適切なサンプリング、深度監視の不十分な利用など、現在の設計には 3 つの決定的な欠点があることが判明しました。
前述の問題に対処するために、対応する 3 つの解決策を紹介します。 1) セマンティック拡張。
自由に利用できる 3D セグメンテーション アノテーションを 2D 平面に投影し、対応する 2D セマンティック マップを監視信号として利用して、マルチビュー検出器のセマンティック認識を大幅に強化します。
2) 遠近感を意識したサンプリング。
均一なサンプリング戦略を採用する代わりに、カメラの近くでは密にサンプリングし、遠くではまばらにサンプリングする遠近感を意識したサンプリング ポリシーを提唱し、貴重な幾何学的手がかりをより効果的に収集します。
3)通常の残留深さの監視。
最適化が難しい深度値を直接回帰するのとは対照的に、各シーンの深度範囲を固定数の順序ビンに分割し、深度ビンの分類と深度ビンの回帰の組み合わせとして深度予測を再定式化します。
残存深度値を利用できるため、深度学習プロセスに利益をもたらします。
結果として得られたアルゴリズム NeRF-Det++ は、ScanNetV2 および ARKITScenes データセットで魅力的なパフォーマンスを示しました。
特に、ScanNetV2 では、NeRF-Det++ は競合する NeRF-Det よりも mAP@0.25 で +1.9%、mAP@0.50$ で +3.5% 優れています。
コードは https://github.com/mrsempress/NeRF-Detplusplus で公開されます。

要約(オリジナル)

NeRF-Det has achieved impressive performance in indoor multi-view 3D detection by innovatively utilizing NeRF to enhance representation learning. Despite its notable performance, we uncover three decisive shortcomings in its current design, including semantic ambiguity, inappropriate sampling, and insufficient utilization of depth supervision. To combat the aforementioned problems, we present three corresponding solutions: 1) Semantic Enhancement. We project the freely available 3D segmentation annotations onto the 2D plane and leverage the corresponding 2D semantic maps as the supervision signal, significantly enhancing the semantic awareness of multi-view detectors. 2) Perspective-aware Sampling. Instead of employing the uniform sampling strategy, we put forward the perspective-aware sampling policy that samples densely near the camera while sparsely in the distance, more effectively collecting the valuable geometric clues. 3)Ordinal Residual Depth Supervision. As opposed to directly regressing the depth values that are difficult to optimize, we divide the depth range of each scene into a fixed number of ordinal bins and reformulate the depth prediction as the combination of the classification of depth bins as well as the regression of the residual depth values, thereby benefiting the depth learning process. The resulting algorithm, NeRF-Det++, has exhibited appealing performance in the ScanNetV2 and ARKITScenes datasets. Notably, in ScanNetV2, NeRF-Det++ outperforms the competitive NeRF-Det by +1.9% in mAP@0.25 and +3.5% in mAP@0.50$. The code will be publicly at https://github.com/mrsempress/NeRF-Detplusplus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google