AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

要約

ビジョンベースの遠隔操作は、低コストのカメラ センサーのみを必要としながら、環境と物理的に対話するための人間レベルの知能をロボットに与える可能性を提供します。
しかし、現在のビジョンベースの遠隔操作システムは、特定のロボット モデルと展開環境に合わせて設計および設計されており、ロボット モデルのプールが拡大し、動作環境の多様性が増加するにつれて、拡張性が低くなります。
この論文では、単一システム内で複数の異なる腕、手、現実、カメラ構成をサポートする統合された汎用遠隔操作システムである AnyTeleop を提案します。
シミュレーターと実際のハードウェアの選択に大きな柔軟性を提供するように設計されていますが、当社のシステムは依然として優れたパフォーマンスを達成できます。
実際の実験では、AnyTeleop は、同じロボットを使用して、特定のロボット ハードウェア向けに設計された以前のシステムよりも高い成功率で優れたパフォーマンスを発揮できます。
シミュレーションでの遠隔操作の場合、AnyTeleop は、そのシミュレーター用に特別に設計された以前のシステムと比較して、模倣学習パフォーマンスの向上につながります。
プロジェクトページ: https://yzqin.github.io/anyteleop/。

要約(オリジナル)

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: https://yzqin.github.io/anyteleop/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google