TeleMoMa: A Modular and Versatile Teleoperation System for Mobile Manipulation

要約

ロボット工学における模倣学習を制限する重大なボトルネックは、データの不足です。
この問題はモバイル操作の場合により深刻であり、利用可能で使いやすい遠隔操作インターフェイスが不足しているため、デモンストレーションを収集するのが固定操作の場合よりも困難です。
この研究では、モバイル マニピュレータの全身遠隔操作のための汎用モジュール式インターフェイスである TeleMoMa をデモします。
TeleMoMa は、RGB カメラ、深度カメラ、仮想現実コントローラ、キーボード、ジョイスティックなど、およびそれらの組み合わせを含む複数のヒューマン インターフェイスを統合します。
よりアクセスしやすいバージョンでは、TeleMoMa は単純な視覚 (RGB-D カメラなど) を使用して動作し、人間がモバイル操作のデモンストレーションを提供するためのハードルを下げます。
シミュレーションと現実世界で、いくつかの既存のモバイル マニピュレータ (PAL Tiago++、Toyota HSR、Fetch) を遠隔操作することにより、TeleMoMa の多用途性を実証します。
同期した全身動作を伴うモバイル操作タスクの模倣学習ポリシーをトレーニングすることにより、TeleMoMa で収集されたデモンストレーションの品質を実証します。
最後に、TeleMoMa の遠隔操作チャネルにより、ロボットを見ながら現場で遠隔操作を行うことも、コンピュータ ネットワークを介してコマンドと観察を送信して遠隔操作できることも示します。また、ユーザー調査を実行して、初心者ユーザーがデモンストレーションを収集する方法を学ぶのがいかに簡単かを評価します。
当社のシステムによって実現されるヒューマン インターフェイスのさまざまな組み合わせ。
TeleMoMa が、研究者が全身のモバイル操作のデモンストレーションを収集できるようにする、コミュニティにとって役立つツールになることを願っています。
詳細とビデオ結果については、https://robin-lab.cs.utexas.edu/telemoma-web をご覧ください。

要約(オリジナル)

A critical bottleneck limiting imitation learning in robotics is the lack of data. This problem is more severe in mobile manipulation, where collecting demonstrations is harder than in stationary manipulation due to the lack of available and easy-to-use teleoperation interfaces. In this work, we demonstrate TeleMoMa, a general and modular interface for whole-body teleoperation of mobile manipulators. TeleMoMa unifies multiple human interfaces including RGB and depth cameras, virtual reality controllers, keyboard, joysticks, etc., and any combination thereof. In its more accessible version, TeleMoMa works using simply vision (e.g., an RGB-D camera), lowering the entry bar for humans to provide mobile manipulation demonstrations. We demonstrate the versatility of TeleMoMa by teleoperating several existing mobile manipulators – PAL Tiago++, Toyota HSR, and Fetch – in simulation and the real world. We demonstrate the quality of the demonstrations collected with TeleMoMa by training imitation learning policies for mobile manipulation tasks involving synchronized whole-body motion. Finally, we also show that TeleMoMa’s teleoperation channel enables teleoperation on site, looking at the robot, or remote, sending commands and observations through a computer network, and perform user studies to evaluate how easy it is for novice users to learn to collect demonstrations with different combinations of human interfaces enabled by our system. We hope TeleMoMa becomes a helpful tool for the community enabling researchers to collect whole-body mobile manipulation demonstrations. For more information and video results, https://robin-lab.cs.utexas.edu/telemoma-web.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google