DITTO: Demonstration Imitation by Trajectory Transformation

要約

ロボットに新しいスキルを迅速かつ便利に教えることは、ロボット システムをより広範に導入するために不可欠です。
この研究では、RGB-D ビデオ記録によって与えられる、1 人の人間のデモンストレーションからのワンショットの模倣の問題に取り組みます。
私たちは 2 段階のプロセスを提案します。
最初の段階では、オフラインでデモンストレーションの軌跡を抽出します。
これには、操作対象オブジェクトをセグメント化し、コンテナなどの二次オブジェクトに対する相対的な動きを決定することが伴います。
オンライン軌道生成段階では、まずすべてのオブジェクトを再検出し、次にデモンストレーション軌道を現在のシーンにワープしてロボット上で実行します。
これらのステップを完了するために、私たちの方法では、セグメンテーション、相対物体姿勢推定、把握予測などのいくつかの補助モデルを利用します。
私たちは、対応方法と再検出方法のさまざまな組み合わせを体系的に評価し、さまざまなタスクにわたって設計上の決定を検証します。
具体的には、ピックアンドプレイスタスクや多関節オブジェクトの操作など、10 種類のタスクのデモンストレーションを収集し、定量的にテストします。
最後に、実際のロボット システムで広範な評価を実行し、現実世界のシナリオにおけるアプローチの有効性と有用性を実証します。
コードは http://ditto.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Teaching robots new skills quickly and conveniently is crucial for the broader adoption of robotic systems. In this work, we address the problem of one-shot imitation from a single human demonstration, given by an RGB-D video recording. We propose a two-stage process. In the first stage we extract the demonstration trajectory offline. This entails segmenting manipulated objects and determining their relative motion in relation to secondary objects such as containers. In the online trajectory generation stage, we first re-detect all objects, then warp the demonstration trajectory to the current scene and execute it on the robot. To complete these steps, our method leverages several ancillary models, including those for segmentation, relative object pose estimation, and grasp prediction. We systematically evaluate different combinations of correspondence and re-detection methods to validate our design decision across a diverse range of tasks. Specifically, we collect and quantitatively test on demonstrations of ten different tasks including pick-and-place tasks as well as articulated object manipulation. Finally, we perform extensive evaluations on a real robot system to demonstrate the effectiveness and utility of our approach in real-world scenarios. We make the code publicly available at http://ditto.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google