要約
我々は、典型的なオンボード深度センサを、3Dガウススプラット（3DGS）として表現される複雑な遠隔環境のフォトリアリスティック、高解像度、高フレームレート、広視野（FoV）レンダリングと、ローカライズ、ストリーミング、投影、統合する新しいロボット遠隔操作システムであるReality Fusionを紹介する。本フレームワークは、3DGSにより、限られたFoVの深度センサの空間情報を効果的に拡張し、データストリーミングコストとデータの視覚的品質との間のトレードオフのバランスをとることで、没入型VRにおけるロバストな自心及び外心ロボットの遠隔操作を可能にする。私たちは、24人の参加者を対象としたユーザー調査を通じて、私たちのフレームワークを評価しました。その結果、Reality Fusionは、ユーザーのパフォーマンス、状況認識、ユーザーの好みを大幅に改善することが明らかになりました。さらなる研究開発を支援するため、簡単に再現できるカスタムメイドのテレプレゼンスロボット、高性能バーチャルリアリティ3DGSレンダラー、没入型ロボット制御パッケージを備えたオープンソースの実装を提供する。(ソースコード: https://github.com/uhhhci/RealityFusion)
要約(オリジナル)
We introduce Reality Fusion, a novel robot teleoperation system that localizes, streams, projects, and merges a typical onboard depth sensor with a photorealistic, high resolution, high framerate, and wide field of view (FoV) rendering of the complex remote environment represented as 3D Gaussian splats (3DGS). Our framework enables robust egocentric and exocentric robot teleoperation in immersive VR, with the 3DGS effectively extending spatial information of a depth sensor with limited FoV and balancing the trade-off between data streaming costs and data visual quality. We evaluated our framework through a user study with 24 participants, which revealed that Reality Fusion leads to significantly better user performance, situation awareness, and user preferences. To support further research and development, we provide an open-source implementation with an easy-to-replicate custom-made telepresence robot, a high-performance virtual reality 3DGS renderer, and an immersive robot control package. (Source code: https://github.com/uhhhci/RealityFusion)
arxiv情報
| 著者 | Ke Li,Reinhard Bacher,Susanne Schmidt,Wim Leemans,Frank Steinicke |
| 発行日 | 2024-08-02 12:29:02+00:00 |
| arxivサイト | arxiv_id(pdf) |