A Distributional Treatment of Real2Sim2Real for Vision-Driven Deformable Linear Object Manipulation

要約

視覚的知覚に基づいて変形可能な線形オブジェクト（DLO）を操作するというREAL2SIM2REAL問題の統合（またはエンドツーエンド）フレームワークを提示します。
パラメーター化されたDLOSセットを使用して、尤度なしの推論（LFI）を使用して、各特定のDLOの動作をほぼシミュレートできる物理パラメーターの後方分布を計算します。
モデルフリーの強化学習を使用して、視覚運動型視覚視力型タスクのトレーニング、シミュレーション、オブジェクト固有の視覚運動ポリシー中にドメインのランダム化にこれらの事後を使用します。
SIMトレーニングを受けたDLO操作ポリシーをゼロショット方法で、つまりそれ以上の微調整なしで展開することにより、このアプローチの有用性を実証します。
これに関連して、動的操作軌道で得られた視覚的および固有受容データのみを使用して、DLOSのパラメトリックセットに対して微分類を実行する顕著なLFIメソッドの能力を評価します。
次に、SIMベースのポリシー学習と現実世界のパフォーマンスにおける結果のドメイン分布の意味を研究します。

要約(オリジナル)

We present an integrated (or end-to-end) framework for the Real2Sim2Real problem of manipulating deformable linear objects (DLOs) based on visual perception. Working with a parameterised set of DLOs, we use likelihood-free inference (LFI) to compute the posterior distributions for the physical parameters using which we can approximately simulate the behaviour of each specific DLO. We use these posteriors for domain randomisation while training, in simulation, object-specific visuomotor policies for a visuomotor DLO reaching task, using model-free reinforcement learning. We demonstrate the utility of this approach by deploying sim-trained DLO manipulation policies in the real world in a zero-shot manner, i.e. without any further fine-tuning. In this context, we evaluate the capacity of a prominent LFI method to perform fine classification over the parametric set of DLOs, using only visual and proprioceptive data obtained in a dynamic manipulation trajectory. We then study the implications of the resulting domain distributions in sim-based policy learning and real-world performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google