NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

要約

この作品は、IEEE ロボティクスとオートメーションに関する国際会議 2023 の「型破りな空間表現に関するワークショップ」で発表されました。
Neural Radiance Field (NeRF) は、カラー イメージから 3D 環境をモデル化する暗黙的なシーン表現のクラスです。
NeRF は表現力が豊かで、現実世界の環境の複雑でマルチスケールのジオメトリをモデル化できるため、ロボット工学アプリケーションの強力なツールになる可能性があります。
最新の NeRF トレーニング ライブラリは、静的データ セットからわずか数秒でフォトリアリスティックな NeRF を生成できますが、オフラインでの使用を目的として設計されており、ポーズ最適化の事前計算に時間がかかるステップが必要です。
この研究では、画像のストリームから NeRF をリアルタイムでオンライン トレーニングするための、ロボット オペレーティング システム (ROS) と人気のある Nerfstudio ライブラリ間のオープンソース ブリッジである NerfBridge を提案します。
NerfBridge は、Nerfstudio が提供する効率的なトレーニング パイプラインとモデル ライブラリへの拡張可能なインターフェイスを提供することで、ロボット工学における NeRF のアプリケーションに関する研究の迅速な開発を可能にします。
ユースケースの例として、NerfBridge を使用して、屋内と屋外の両方の環境でクアッドローターに取り付けられたカメラによってキャプチャされた画像から NeRF をトレーニングできるハードウェア セットアップの概要を説明します。
付随ビデオ https://youtu.be/EH0SLn-RcDg およびコード https://github.com/javieryu/nerf_bridge については。

要約(オリジナル)

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google