Understanding and Mitigating Network Latency Effect on Teleoperated-Robot with Extended Reality

要約

拡張された現実（XRテレオ操作）を備えたロボットテレオペレーションにより、リモートロボットがリアルタイムの3Dフィードバックでユーザーのモーションを模倣できるようにすることにより、直感的な相互作用が可能になります。
ただし、既存のシステムは、大幅な動きへの動き（M2M）のレイテンシに直面しています。これは、ユーザーの最新の動きと対応するロボットフィードバックの間の遅延 – 高い視聴エラーとミッション完了時間を導きます。
この問題は、システムがネットワーク通信に排他的に依存していることに起因しており、ネットワークの劣化に対して非常に脆弱です。
これらの課題に対処するために、ネットワーク依存関係からロボットコントロールとXRの視覚化を切り離す最初のエンドツーエンドで完全にオープンソースのXRテレオ操作フレームワークであるTelexRを紹介します。
TELEXRはローカルセンシングデータを活用して、対応物の遅延情報または欠落した情報を再構築し、それによりネットワーク誘導の問題を大幅に削減します。
このアプローチにより、XRとロボットの両方が、高いロボット計画の精度を維持しながら、ネットワーク伝送と同時に実行できます。
TelexRは、GPUの競合と帯域幅に適合するポイントクラウドを緩和するための競合を意識したスケジューリングも特徴としており、限られた帯域幅に対処します。

要約(オリジナル)

Robot teleoperation with extended reality (XR teleoperation) enables intuitive interaction by allowing remote robots to mimic user motions with real-time 3D feedback. However, existing systems face significant motion-to-motion (M2M) latency–the delay between the user’s latest motion and the corresponding robot feedback–leading to high teleoperation error and mission completion time. This issue stems from the system’s exclusive reliance on network communication, making it highly vulnerable to network degradation. To address these challenges, we introduce TeleXR, the first end-to-end, fully open-sourced XR teleoperation framework that decouples robot control and XR visualization from network dependencies. TeleXR leverages local sensing data to reconstruct delayed or missing information of the counterpart, thereby significantly reducing network-induced issues. This approach allows both the XR and robot to run concurrently with network transmission while maintaining high robot planning accuracy. TeleXR also features contention-aware scheduling to mitigate GPU contention and bandwidth-adaptive point cloud scaling to cope with limited bandwidth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google