Just Flip: Flipped Observation Generation and Optimization for Neural Radiance Fields to Cover Unobserved View

要約

Neural Radiance Field (NeRF) の出現により、複数の観測を通じて 3D シーンを表現すると、パフォーマンスが大幅に向上しました。
この最先端の技術は、密集した 3D 環境を補間することによって高解像度のレンダリングを取得できるため、ロボットの知覚の空間理解に NeRF を適用するためのさまざまなアプローチが提案されています。
ただし、これらの作品は観測情報なしで 3D 再構成を考慮していないため、以前の研究では、観測されていないロボットの軌道上の観測されていないシーンやビューを表現することは困難でした。
この問題を克服するために、未探索のロボット軌道の存在しない観測をカバーするために反転観測を生成する方法を提案します。
これを達成するために、観測された画像を反転し、反転したカメラの6DOFポーズを推定することにより、NeRFを使用した3D再構成のためのデータ拡張方法を提案します。
私たちの技術は、幾何学的に対称であるオブジェクトの特性を利用して、シンプルでありながら高速で強力にするため、リアルタイムのパフォーマンスが重要なロボットアプリケーションに適しています。
私たちの方法が、NeRF合成データセットの3つの代表的な知覚品質測定値を大幅に改善することを示しています。

要約(オリジナル)

With the advent of Neural Radiance Field (NeRF), representing 3D scenes through multiple observations has shown remarkable improvements in performance. Since this cutting-edge technique is able to obtain high-resolution renderings by interpolating dense 3D environments, various approaches have been proposed to apply NeRF for the spatial understanding of robot perception. However, previous works are challenging to represent unobserved scenes or views on the unexplored robot trajectory, as these works do not take into account 3D reconstruction without observation information. To overcome this problem, we propose a method to generate flipped observation in order to cover unexisting observation for unexplored robot trajectory. To achieve this, we propose a data augmentation method for 3D reconstruction using NeRF by flipping observed images, and estimating flipped camera 6DOF poses. Our technique exploits the property of objects being geometrically symmetric, making it simple but fast and powerful, thereby making it suitable for robotic applications where real-time performance is important. We demonstrate that our method significantly improves three representative perceptual quality measures on the NeRF synthetic dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google