Radiance Fields for Robotic Teleoperation

要約

Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) などの Radiance Field 手法は、グラフィックスと新しいビュー合成に革命をもたらしました。
フォトリアルな品質で新しい視点を合成し、複雑な体積シーンや鏡面反射シーンをキャプチャできる機能により、ロボット遠隔操作セットアップにとって理想的な視覚化が可能になります。
直接カメラ遠隔操作は操作性を犠牲にして忠実度の高い操作を提供しますが、再構成ベースのアプローチは忠実度は低くても制御可能なシーンを提供します。
これを念頭に置いて、ロボット遠隔操作パイプラインの従来の再構築可視化コンポーネントをオンラインのラディアンス フィールドに置き換えて、写真のようにリアルな品質で高度に操作可能なシーンを提供することを提案します。
そのため、最先端技術への主な貢献は 3 つあります: (1) 複数のカメラからのライブ データを使用したラディアンス フィールドのオンライン トレーニング、(2) NeRF や 3DGS を含むさまざまなラディアンス手法のサポート、(3) 視覚化スイート
これらの方法には、仮想現実シーンが含まれます。
既存のセットアップとのシームレスな統合を可能にするために、これらのコンポーネントは複数の構成で複数のロボットを使用してテストされ、従来のツールと VR ヘッドセットを使用して表示されました。
さまざまな方法とロボットにわたる結果がメッシュ再構成のベースラインと定量的に比較され、さまざまな視覚化方法を比較するためにユーザー調査が実施されました。
ビデオとコードについては、https://leggedrobotics.github.io/rffr.github.io/ をご覧ください。

要約(オリジナル)

Radiance field methods such as Neural Radiance Fields (NeRFs) or 3D Gaussian Splatting (3DGS), have revolutionized graphics and novel view synthesis. Their ability to synthesize new viewpoints with photo-realistic quality, as well as capture complex volumetric and specular scenes, makes them an ideal visualization for robotic teleoperation setups. Direct camera teleoperation provides high-fidelity operation at the cost of maneuverability, while reconstruction-based approaches offer controllable scenes with lower fidelity. With this in mind, we propose replacing the traditional reconstruction-visualization components of the robotic teleoperation pipeline with online Radiance Fields, offering highly maneuverable scenes with photorealistic quality. As such, there are three main contributions to state of the art: (1) online training of Radiance Fields using live data from multiple cameras, (2) support for a variety of radiance methods including NeRF and 3DGS, (3) visualization suite for these methods including a virtual reality scene. To enable seamless integration with existing setups, these components were tested with multiple robots in multiple configurations and were displayed using traditional tools as well as the VR headset. The results across methods and robots were compared quantitatively to a baseline of mesh reconstruction, and a user study was conducted to compare the different visualization methods. For videos and code, check out https://leggedrobotics.github.io/rffr.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google