Radiance Fields for Robotic Teleoperation

要約

ニューラル放射輝度フィールド（NERF）や3Dガウススプラッティング（3DG）などの放射磁場方法は、グラフィックスと新しいビューの合成に革命をもたらしました。
写真が現実的な品質を備えた新しい視点を合成し、複雑なボリュームと鏡面のシーンをキャプチャする能力により、ロボットテレオ操作のセットアップの理想的な視覚化になります。
ダイレクトカメラテレオペレーションは、操縦性を犠牲にして高忠実な操作を提供し、再構築ベースのアプローチは忠実度が低い制御可能なシーンを提供します。
これを念頭に置いて、ロボットテレオ操作パイプラインの従来の再構築視覚化コンポーネントをオンラインラディアンスフィールドに置き換えることを提案し、光線上の品質を備えた非常に操作可能なシーンを提供します。
そのため、最先端の3つの主な貢献があります。（1）複数のカメラからのライブデータを使用した輝度フィールドのオンライントレーニング、（2）NERFや3DGを含むさまざまな輝き方法のサポート、（3）仮想現実シーンを含むこれらの方法の視覚化スイート。
既存のセットアップとのシームレスな統合を有効にするために、これらのコンポーネントは複数の構成で複数のロボットでテストされ、従来のツールとVRヘッドセットを使用して表示されました。
メソッドとロボット間の結果は、メッシュ再構成のベースラインと定量的に比較され、さまざまな視覚化方法を比較するためにユーザー調査を実施しました。
ビデオとコードについては、https：//rffr.leggedrobotics.com/works/teleoperation/をご覧ください。

要約(オリジナル)

Radiance field methods such as Neural Radiance Fields (NeRFs) or 3D Gaussian Splatting (3DGS), have revolutionized graphics and novel view synthesis. Their ability to synthesize new viewpoints with photo-realistic quality, as well as capture complex volumetric and specular scenes, makes them an ideal visualization for robotic teleoperation setups. Direct camera teleoperation provides high-fidelity operation at the cost of maneuverability, while reconstruction-based approaches offer controllable scenes with lower fidelity. With this in mind, we propose replacing the traditional reconstruction-visualization components of the robotic teleoperation pipeline with online Radiance Fields, offering highly maneuverable scenes with photorealistic quality. As such, there are three main contributions to state of the art: (1) online training of Radiance Fields using live data from multiple cameras, (2) support for a variety of radiance methods including NeRF and 3DGS, (3) visualization suite for these methods including a virtual reality scene. To enable seamless integration with existing setups, these components were tested with multiple robots in multiple configurations and were displayed using traditional tools as well as the VR headset. The results across methods and robots were compared quantitatively to a baseline of mesh reconstruction, and a user study was conducted to compare the different visualization methods. For videos and code, check out https://rffr.leggedrobotics.com/works/teleoperation/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google