NeRF-RPN: A general framework for object detection in NeRFs

要約

このホワイト ペーパーでは、NeRF を直接操作する最初の重要オブジェクト検出フレームワークである NeRF-RPN について説明します。
事前にトレーニングされた NeRF モデルが与えられると、NeRF-RPN はシーン内のオブジェクトのすべてのバウンディング ボックスを検出することを目的としています。
マルチスケール 3D ニューラル ボリューム機能を組み込んだ新しいボクセル表現を活用することで、任意の視点で NeRF をレンダリングすることなく、NeRF 内のオブジェクトの 3D バウンディング ボックスを直接回帰できることを示します。
NeRF-RPN は一般的なフレームワークであり、クラス ラベルのないオブジェクトの検出に適用できます。
さまざまなバックボーン アーキテクチャ、RPN ヘッド設計、および損失関数を使用して NeRF-RPN を実験しました。
それらはすべて、高品質の 3D バウンディング ボックスを推定するために、エンド ツー エンドの方法でトレーニングできます。
NeRF のオブジェクト検出の将来の研究を促進するために、慎重なラベル付けとクリーンアップを行った合成データと実世界データの両方で構成される新しいベンチマーク データセットを構築しました。
NeRF-RPN による 3D 領域提案の視覚化については、\href{https://youtu.be/M8_4Ih1CJjE}{video} をご覧ください。
コードとデータセットが利用可能になります。

要約(オリジナル)

This paper presents the first significant object detection framework, NeRF-RPN, which directly operates on NeRF. Given a pre-trained NeRF model, NeRF-RPN aims to detect all bounding boxes of objects in a scene. By exploiting a novel voxel representation that incorporates multi-scale 3D neural volumetric features, we demonstrate it is possible to regress the 3D bounding boxes of objects in NeRF directly without rendering the NeRF at any viewpoint. NeRF-RPN is a general framework and can be applied to detect objects without class labels. We experimented the NeRF-RPN with various backbone architectures, RPN head designs and loss functions. All of them can be trained in an end-to-end manner to estimate high quality 3D bounding boxes. To facilitate future research in object detection for NeRF, we built a new benchmark dataset which consists of both synthetic and real-world data with careful labeling and clean up. Please watch the \href{https://youtu.be/M8_4Ih1CJjE}{video} for visualizing the 3D region proposals by our NeRF-RPN. Code and dataset will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google