NimbRo wins ANA Avatar XPRIZE Immersive Telepresence Competition: Human-Centric Evaluation and Lessons Learned

要約

ロボット アバター システムは、移動、操作、通信機能を備えた没入型テレプレゼンスを可能にします。
私たちは、没入型 3D 視覚化と透明なフォース フィードバック遠隔操作の主要コンポーネントに基づいた、このようなアバター システムを紹介します。
私たちのアバター ロボットは、器用な手を持つ擬人化された上半身が特徴です。
遠隔地の人間のオペレーターは、外骨格ベースのオペレーター ステーションを通じて腕と指を駆動し、手首と各指の両方に力のフィードバックを提供します。
ロボットの胴体はホロノミック ベースに取り付けられ、3D 舵デバイスを使用して制御され、平らな床上で全方向移動を実現します。
最後に、このロボットはステレオ カメラを備えた 6D 可動ヘッドを備えており、オペレーターが装着する VR ディスプレイに画像をストリーミングします。
動きの遅延は球面レンダリングを使用して隠蔽されます。
頭部には、オペレーターの顔のアニメーション画像を表示するテレプレゼンス スクリーンも搭載されており、離れた場所にいる人との直接の対話が可能になります。
当社のシステムは、1,000 万ドルの ANA アバター XPRIZE コンペティションで優勝しました。このコンペでは、短期間の訓練を受けた審査員が操作できる直感的で没入型のアバター システムの開発がチームに求められました。
私たちは準決勝と決勝での成功を分析し、オペレーターのトレーニングと学んだ教訓についての洞察を提供します。
さらに、直感的で簡単な使いやすさを実証するユーザー調査でシステムを評価します。

要約(オリジナル)

Robotic avatar systems can enable immersive telepresence with locomotion, manipulation, and communication capabilities. We present such an avatar system, based on the key components of immersive 3D visualization and transparent force-feedback telemanipulation. Our avatar robot features an anthropomorphic upper body with dexterous hands. The remote human operator drives the arms and fingers through an exoskeleton-based operator station, which provides force feedback both at the wrist and for each finger. The robot torso is mounted on a holonomic base, providing omnidirectional locomotion on flat floors, controlled using a 3D rudder device. Finally, the robot features a 6D movable head with stereo cameras, which stream images to a VR display worn by the operator. Movement latency is hidden using spherical rendering. The head also carries a telepresence screen displaying an animated image of the operator’s face, enabling direct interaction with remote persons. Our system won the \$10M ANA Avatar XPRIZE competition, which challenged teams to develop intuitive and immersive avatar systems that could be operated by briefly trained judges. We analyze our successful participation in the semifinals and finals and provide insight into our operator training and lessons learned. In addition, we evaluate our system in a user study that demonstrates its intuitive and easy usability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google