DITTO: Demonstration Imitation by Trajectory Transformation

要約

ロボットに新しいスキルを迅速かつ便利に教えることは、ロボット システムをより広範に導入するために不可欠です。
この研究では、2 段階のプロセスを介した RGB-D ビデオ記録によって与えられる、1 人の人間のデモンストレーションからのワンショットの模倣の問題に取り組みます。
オフラインである第一段階では、デモの軌跡を抽出します。
これには、操作対象オブジェクトをセグメント化し、コンテナなどの二次オブジェクトに対する相対的な動きを決定することが伴います。
続いて、ライブ オンライン軌跡生成段階では、最初にすべてのオブジェクトを \mbox{再検出}し、次にデモンストレーション軌跡を現在のシーンにワープし、最後にロボットで軌跡をトレースします。
これらのステップを完了するために、私たちの方法では、セグメンテーション、相対物体姿勢推定、把握予測などのいくつかの補助モデルを利用します。
私たちは、対応方法と再検出方法のさまざまな組み合わせを体系的に評価し、さまざまなタスクにわたって設計上の決定を検証します。
具体的には、ピックアンドプレイスタスクや多関節オブジェクトの操作など、10 種類のタスクのデモンストレーションを収集します。
最後に、実際のロボット システムで広範な評価を実行し、現実世界のシナリオにおけるアプローチの有効性と有用性を実証します。
コードは http://ditto.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Teaching robots new skills quickly and conveniently is crucial for the broader adoption of robotic systems. In this work, we address the problem of one-shot imitation from a single human demonstration, given by an RGB-D video recording through a two-stage process. In the first stage which is offline, we extract the trajectory of the demonstration. This entails segmenting manipulated objects and determining their relative motion in relation to secondary objects such as containers. Subsequently, in the live online trajectory generation stage, we first \mbox{re-detect} all objects, then we warp the demonstration trajectory to the current scene, and finally, we trace the trajectory with the robot. To complete these steps, our method makes leverages several ancillary models, including those for segmentation, relative object pose estimation, and grasp prediction. We systematically evaluate different combinations of correspondence and re-detection methods to validate our design decision across a diverse range of tasks. Specifically, we collect demonstrations of ten different tasks including pick-and-place tasks as well as articulated object manipulation. Finally, we perform extensive evaluations on a real robot system to demonstrate the effectiveness and utility of our approach in real-world scenarios. We make the code publicly available at http://ditto.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google