Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

要約

遠隔操作は、デモンストレーションからロボットの学習に不可欠なロボット上のデータを収集するための強力な方法として機能します。
遠隔操作システムの直観性と使いやすさは、高品質で多様でスケーラブルなデータを確保するために非常に重要です。
これを実現するために、オペレータがロボットの周囲を立体的に能動的に認識できる没入型遠隔操作システム Open-TeleVision を提案します。
さらに、このシステムはオペレーターの腕と手の動きをロボットに反映し、オペレーターの心がロボットの実施形態に伝わったかのような没入型の体験を生み出します。
私たちは、2 台の異なるヒューマノイド ロボットの 4 つの長期にわたる正確なタスク (缶の仕分け、缶の挿入、折り畳み、アンロード) に関するデータを収集し、模倣学習ポリシーをトレーニングすることでシステムの有効性を検証し、それらを現実世界に展開します。
このシステムは、https://robot-tv.github.io/ でオープンソース化されています。

要約(オリジナル)

Teleoperation serves as a powerful method for collecting on-robot data essential for robot learning from demonstrations. The intuitiveness and ease of use of the teleoperation system are crucial for ensuring high-quality, diverse, and scalable data. To achieve this, we propose an immersive teleoperation system Open-TeleVision that allows operators to actively perceive the robot’s surroundings in a stereoscopic manner. Additionally, the system mirrors the operator’s arm and hand movements on the robot, creating an immersive experience as if the operator’s mind is transmitted to a robot embodiment. We validate the effectiveness of our system by collecting data and training imitation learning policies on four long-horizon, precise tasks (Can Sorting, Can Insertion, Folding, and Unloading) for 2 different humanoid robots and deploy them in the real world. The system is open-sourced at: https://robot-tv.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google