Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation

要約

模倣学習方法では、オブジェクトの姿勢の変化、物理的な外乱、および視覚的な気が散る要因に対して堅牢なポリシーを学習するために、人間による大幅な監督が必要です。
一方、強化学習は環境を自律的に探索して堅牢な動作を学習できますが、非現実的な量の安全でない現実世界のデータ収集が必要になる場合があります。
安全でない現実世界のデータ収集や人間による広範な監視の負担なしに、パフォーマンスの高い堅牢なポリシーを学習するために、私たちは、リアルタイムで構築された「デジタル ツイン」シミュレーション環境での強化学習を介して現実世界の模倣学習ポリシーを堅牢化するシステムである RialTo を提案します。
少量の実世界のデータ。
このリアルからシムからリアルへのパイプラインを可能にするために、RialTo は、現実世界の環境のデジタル ツインを迅速にスキャンして構築するための使いやすいインターフェイスを提案します。
また、必要な人間の介入とエンジニアリングを最小限に抑え、効率的な微調整のために現実世界のデモンストレーションをシミュレートされた環境に導入するための新しい「逆蒸留」手順も紹介します。
私たちは、皿をラックにしっかりと積み重ねる、本を棚に置く、その他 6 つのタスクなど、現実世界でのロボット操作のさまざまな問題にわたって RialTo を評価します。
RialTo は、大規模な人的データ収集を必要とせずに、ポリシーの堅牢性を向上 (67% 以上) します。
プロジェクトの Web サイトとビデオ (https://real-to-sim-to-real.github.io/RialTo/)

要約(オリジナル)

Imitation learning methods need significant human supervision to learn policies robust to changes in object poses, physical disturbances, and visual distractors. Reinforcement learning, on the other hand, can explore the environment autonomously to learn robust behaviors but may require impractical amounts of unsafe real-world data collection. To learn performant, robust policies without the burden of unsafe real-world data collection or extensive human supervision, we propose RialTo, a system for robustifying real-world imitation learning policies via reinforcement learning in ‘digital twin’ simulation environments constructed on the fly from small amounts of real-world data. To enable this real-to-sim-to-real pipeline, RialTo proposes an easy-to-use interface for quickly scanning and constructing digital twins of real-world environments. We also introduce a novel ‘inverse distillation’ procedure for bringing real-world demonstrations into simulated environments for efficient fine-tuning, with minimal human intervention and engineering required. We evaluate RialTo across a variety of robotic manipulation problems in the real world, such as robustly stacking dishes on a rack, placing books on a shelf, and six other tasks. RialTo increases (over 67%) in policy robustness without requiring extensive human data collection. Project website and videos at https://real-to-sim-to-real.github.io/RialTo/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google