要約
我々は、リソースに制約のあるモバイルロボットやエッジデバイスによって撮影されたシーンのオンライン3D再構成と可視化を可能にするフレームワークDISORFを提示する。エッジデバイスの限られた計算能力と潜在的に限られたネットワーク可用性に対処するため、エッジデバイスとリモートサーバ間で計算を効率的に分散するフレームワークを設計する。デバイス上のSLAMシステムを活用し、ポーズをとったキーフレームを生成し、それをリモートサーバーに送信する。我々は、素朴な画像サンプリング戦略がレンダリング品質の大幅な劣化につながるオンライントレーニングの重要な課題を特定する。我々は、オンライントレーニングのこの課題に対処する新しいシフト指数フレームサンプリング法を提案する。我々は、モバイルロボットやエッジデバイスのカメラからキャプチャされストリーミングされる未知のシーンの高品質なリアルタイム再構成と可視化を可能にする、我々のフレームワークの有効性を実証する。
要約(オリジナル)
We present a framework, DISORF, to enable online 3D reconstruction and visualization of scenes captured by resource-constrained mobile robots and edge devices. To address the limited computing capabilities of edge devices and potentially limited network availability, we design a framework that efficiently distributes computation between the edge device and the remote server. We leverage on-device SLAM systems to generate posed keyframes and transmit them to remote servers that can perform high-quality 3D reconstruction and visualization at runtime by leveraging recent advances in neural 3D methods. We identify a key challenge with online training where naive image sampling strategies can lead to significant degradation in rendering quality. We propose a novel shifted exponential frame sampling method that addresses this challenge for online training. We demonstrate the effectiveness of our framework in enabling high-quality real-time reconstruction and visualization of unknown scenes as they are captured and streamed from cameras in mobile robots and edge devices.
arxiv情報
| 著者 | Chunlin Li,Hanrui Fan,Xiaorui Huang,Ruofan Liang,Sankeerth Durvasula,Nandita Vijaykumar |
| 発行日 | 2024-08-02 05:17:10+00:00 |
| arxivサイト | arxiv_id(pdf) |