Instructing Robots by Sketching: Learning from Demonstration via Probabilistic Diagrammatic Teaching

要約

Learning for Demonstration (LfD) により、ロボットは専門家のデモンストレーションを模倣することで新しいスキルを習得できるため、ユーザーは直感的な方法で指示を伝えることができます。
LfD の最近の進歩は、ユーザーがデモンストレーションを指定するための媒体として、運動感覚教育や遠隔操作に依存することがよくあります。
運動感覚の教育にはロボットの物理的な取り扱いが必要ですが、遠隔操作には追加のハードウェアの熟練度が必要です。
この論文では、ダイアグラマティック ティーチングと呼ばれる LfD の代替パラダイムを紹介します。
ダイアグラマティック・ティーチングは、ユーザーがシーンの 2D 画像上にデモンストレーション軌跡をスケッチするよう促すことで、ロボットに新しいスキルを教えることを目的としています。これらは、3D タスク空間で動作軌跡の生成モデルとして合成されます。
さらに、図式教育のためのレイトレーシング確率的軌跡学習 (RPTL) フレームワークを紹介します。
RPTL は、2D スケッチから時変確率密度を抽出し、レイ トレーシングを適用して 3D デカルト空間内の対応する領域を見つけ、運動軌跡の確率モデルをこれらの領域に適合させます。
ユーザーがスケッチした軌道を模倣した新しい運動軌道を確率モデルから生成できます。
私たちは、シミュレーションと実際のロボット (固定ベースのマニピュレーターと四足で取り付けられたマニピュレーターを含む) の両方でフレームワークを経験的に検証します。

要約(オリジナル)

Learning for Demonstration (LfD) enables robots to acquire new skills by imitating expert demonstrations, allowing users to communicate their instructions in an intuitive manner. Recent progress in LfD often relies on kinesthetic teaching or teleoperation as the medium for users to specify the demonstrations. Kinesthetic teaching requires physical handling of the robot, while teleoperation demands proficiency with additional hardware. This paper introduces an alternative paradigm for LfD called Diagrammatic Teaching. Diagrammatic Teaching aims to teach robots novel skills by prompting the user to sketch out demonstration trajectories on 2D images of the scene, these are then synthesised as a generative model of motion trajectories in 3D task space. Additionally, we present the Ray-tracing Probabilistic Trajectory Learning (RPTL) framework for Diagrammatic Teaching. RPTL extracts time-varying probability densities from the 2D sketches, applies ray-tracing to find corresponding regions in 3D Cartesian space, and fits a probabilistic model of motion trajectories to these regions. New motion trajectories, which mimic those sketched by the user, can then be generated from the probabilistic model. We empirically validate our framework both in simulation and on real robots, which include a fixed-base manipulator and a quadruped-mounted manipulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google