Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields

要約

ロボットの知覚などの実世界のアプリケーションでは、幾何学的および意味的に包括的な3Dシーン理解が重要である。既存の研究のほとんどは、シーン理解のためのデータ駆動型識別モデルの開発に焦点を当てたものである。本論文では、暗黙的3次元表現とニューラルレンダリングに関する最近の進歩を活用し、合成モデルの観点から、シーン理解への新たなアプローチを提供する。Neural Radiance Fields (NeRF)の大きな成功に基づき、我々はNeRFを用いたシーンプロパティ合成（SS-NeRF）を紹介する。これは、新しい視点からのフォトリアルなRGB画像を描画するだけでなく、様々なシーン特性（例えば、外観、幾何学、セマンティクス）を正確に描画することが可能である。これにより、セマンティックセグメンテーション、表面法線推定、リシェーディング、キーポイント検出、エッジ検出など、様々なシーン理解タスクに統一的なフレームワークで対応することが可能になる。このSS-NeRFフレームワークは、生成学習と識別学習の橋渡しをする強力なツールとなり、合成パラダイムにおけるタスクの関係の研究、新規タスクへの知識の伝達、データ補強の方法としての下流の識別タスクの促進、データ作成のためのオートラベラーとしての機能など、幅広い興味深い問題の調査に有益であると考えられる。

要約(オリジナル)

Comprehensive 3D scene understanding, both geometrically and semantically, is important for real-world applications such as robot perception. Most of the existing work has focused on developing data-driven discriminative models for scene understanding. This paper provides a new approach to scene understanding, from a synthesis model perspective, by leveraging the recent progress on implicit 3D representation and neural rendering. Building upon the great success of Neural Radiance Fields (NeRFs), we introduce Scene-Property Synthesis with NeRF (SS-NeRF) that is able to not only render photo-realistic RGB images from novel viewpoints, but also render various accurate scene properties (e.g., appearance, geometry, and semantics). By doing so, we facilitate addressing a variety of scene understanding tasks under a unified framework, including semantic segmentation, surface normal estimation, reshading, keypoint detection, and edge detection. Our SS-NeRF framework can be a powerful tool for bridging generative learning and discriminative learning, and thus be beneficial to the investigation of a wide range of interesting problems, such as studying task relationships within a synthesis paradigm, transferring knowledge to novel tasks, facilitating downstream discriminative tasks as ways of data augmentation, and serving as auto-labeller for data creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL