Just Flip: Flipped Observation Generation and Optimization for Neural Radiance Fields to Cover Unobserved View

要約

Neural Radiance Field (NeRF) の出現により、複数の観測を通じて 3D シーンを表現することで、パフォーマンスが大幅に向上しました。
この最先端の技術は、密な 3D 環境を補間することで高解像度のレンダリングを取得できるため、ロボットの知覚の空間理解に NeRF を適用するさまざまなアプローチが提案されています。
しかし、これまでの研究では、観測情報のない 3D 再構成が考慮されていないため、ロボットの軌道上で未観測のシーンやビューを表現するのは困難でした。
この問題を克服するために、我々は、未探索のロボット軌道に対する既存の観測をカバーするために反転観測を生成する方法を提案する。
これを達成するために、NeRF を使用して観察画像を反転し、反転されたカメラの 6DOF ポーズを推定することにより 3D 再構成のためのデータ拡張方法を提案します。
私たちの技術は、幾何学的に対称的なオブジェクトの特性を利用し、シンプルでありながら高速かつ強力なものにし、それによってリアルタイムのパフォーマンスが重要なロボットアプリケーションに適したものとしています。
私たちは、私たちの方法が NeRF 合成データセット上の 3 つの代表的な知覚品質測定を大幅に改善することを実証します。

要約(オリジナル)

With the advent of Neural Radiance Field (NeRF), representing 3D scenes through multiple observations has shown remarkable improvements in performance. Since this cutting-edge technique is able to obtain high-resolution renderings by interpolating dense 3D environments, various approaches have been proposed to apply NeRF for the spatial understanding of robot perception. However, previous works are challenging to represent unobserved scenes or views on the unexplored robot trajectory, as these works do not take into account 3D reconstruction without observation information. To overcome this problem, we propose a method to generate flipped observation in order to cover unexisting observation for unexplored robot trajectory. To achieve this, we propose a data augmentation method for 3D reconstruction using NeRF by flipping observed images, and estimating flipped camera 6DOF poses. Our technique exploits the property of objects being geometrically symmetric, making it simple but fast and powerful, thereby making it suitable for robotic applications where real-time performance is important. We demonstrate that our method significantly improves three representative perceptual quality measures on the NeRF synthetic dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google