Amplifying robotics capacities with a human touch: An immersive low-latency panoramic remote system

要約

AI とロボット技術は過去 10 年間で目覚ましい進歩を遂げ、さまざまな領域で仕事のパターンと機会に革命をもたらしました。
これらの技術の応用により、社会は人と機械の共生の時代へ向かっています。
人間と知能ロボット間の効率的なコミュニケーションを促進するために、没入型低遅延パノラマ人間ロボット対話プラットフォーム「アバター」システムを提案します。
私たちは、エッジ コンピューティング ユニット、パノラマ ビデオ キャプチャ デバイス、電源バッテリー、ロボット アーム、およびネットワーク通信機器を統合した堅牢なモバイル プラットフォームのプロトタイプを設計し、テストしました。
良好なネットワーク条件の下で、遅延 357 ミリ秒の低遅延の高解像度パノラマ ビジュアル エクスペリエンスを実現しました。
オペレーターは VR ヘッドセットとコントローラーを利用して、ロボットやデバイスをリアルタイムで没入型に制御できます。
このシステムにより、キャンパス、州、国、さらには大陸 (ニューヨークから深セン) にまたがる広大な物理的距離にわたる遠隔制御が可能になります。
さらに、このシステムには地図と軌跡を記録するためのビジュアル SLAM テクノロジーが組み込まれており、自律ナビゲーション機能を提供します。
この直感的なシステム プラットフォームは、人間とロボットのコラボレーションにおける効率と状況に応じたエクスペリエンスを向上させることができ、関連技術のさらなる進歩により、AI と人間の間の効率的かつ共生的な協力のための多用途ツールになると私たちは信じています。

要約(オリジナル)

AI and robotics technologies have witnessed remarkable advancements in the past decade, revolutionizing work patterns and opportunities in various domains. The application of these technologies has propelled society towards an era of symbiosis between humans and machines. To facilitate efficient communication between humans and intelligent robots, we propose the ‘Avatar’ system, an immersive low-latency panoramic human-robot interaction platform. We have designed and tested a prototype of a rugged mobile platform integrated with edge computing units, panoramic video capture devices, power batteries, robot arms, and network communication equipment. Under favorable network conditions, we achieved a low-latency high-definition panoramic visual experience with a delay of 357ms. Operators can utilize VR headsets and controllers for real-time immersive control of robots and devices. The system enables remote control over vast physical distances, spanning campuses, provinces, countries, and even continents (New York to Shenzhen). Additionally, the system incorporates visual SLAM technology for map and trajectory recording, providing autonomous navigation capabilities. We believe that this intuitive system platform can enhance efficiency and situational experience in human-robot collaboration, and with further advancements in related technologies, it will become a versatile tool for efficient and symbiotic cooperation between AI and humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google