DISORF: A Distributed Online 3D Reconstruction Framework for Mobile Robots

要約

リソースに制約のあるモバイル ロボットやエッジ デバイスによってキャプチャされたシーンのオンライン 3D 再構成と視覚化を可能にするフレームワーク DISORF を紹介します。
エッジ デバイスの限られたコンピューティング能力と潜在的に限られたネットワーク可用性に対処するために、エッジ デバイスとリモート サーバーの間でコンピューティングを効率的に分散するフレームワークを設計します。
オンデバイスの SLAM システムを利用して、ポーズ設定されたキーフレームを生成し、それをリモート サーバーに送信します。リモート サーバーは、最近のニューラル 3D 手法の進歩を活用して、実行時に高品質の 3D 再構成と視覚化を実行できます。
私たちは、単純な画像サンプリング戦略がレンダリング品質の大幅な低下につながる可能性があるという、オンライン トレーニングに関する重要な課題を特定しました。
私たちは、オンライン トレーニングのこの課題に対処する、新しいシフト指数フレーム サンプリング方法を提案します。
モバイル ロボットやエッジ デバイスのカメラからキャプチャおよびストリーミングされる未知のシーンの高品質なリアルタイム再構成と視覚化を可能にするフレームワークの有効性を実証します。

要約(オリジナル)

We present a framework, DISORF, to enable online 3D reconstruction and visualization of scenes captured by resource-constrained mobile robots and edge devices. To address the limited computing capabilities of edge devices and potentially limited network availability, we design a framework that efficiently distributes computation between the edge device and the remote server. We leverage on-device SLAM systems to generate posed keyframes and transmit them to remote servers that can perform high-quality 3D reconstruction and visualization at runtime by leveraging recent advances in neural 3D methods. We identify a key challenge with online training where naive image sampling strategies can lead to significant degradation in rendering quality. We propose a novel shifted exponential frame sampling method that addresses this challenge for online training. We demonstrate the effectiveness of our framework in enabling high-quality real-time reconstruction and visualization of unknown scenes as they are captured and streamed from cameras in mobile robots and edge devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google