IndustReal: Transferring Contact-Rich Assembly Tasks from Simulation to Reality

要約

ロボットによる組み立ては長年の課題であり、接触が多い対話と高い精度が求められます。
多くのアプリケーションでは、サイクル タイムが短いだけでなく、さまざまなパーツ、姿勢、環境への適応性も必要とされます。
ロボット工学の他の分野では、シミュレーションはアルゴリズムの開発、データセットの生成、エージェントのトレーニングのための強力なツールです。
ただし、シミュレーションがアセンブリに与える影響は限定的です。
強化学習 (RL) を使用してシミュレーションで組み立てタスクを解決し、現実世界へのポリシーの移行を成功させるアルゴリズム、システム、ツールのセットである IndustReal を紹介します。
具体的には、1) シミュレーションを意識したポリシーの更新、2) 符号付き距離フィールドの報酬、3) ロボット RL エージェント向けのサンプリング ベースのカリキュラムを提案します。
これらのアルゴリズムを使用して、ロボットが接触の多いピック、配置、挿入タスクをシミュレーションで解決できるようにします。
次に、4) ポリシー展開時のエラーを最小限に抑えるためのポリシー レベルのアクション インテグレーターを提案します。
私たちは、訓練されたポリシーとアクション インテグレーターを使用して現実世界で再現可能なパフォーマンスを達成する、現実世界のロボット アセンブリ システムを構築および実証します。
最後に、他の研究者が私たちのシステムと結果を再現できるようにするハードウェアおよびソフトウェアのツールを紹介します。
ビデオとその他の詳細については、 http://sites.google.com/nvidia.com/industreal を参照してください。

要約(オリジナル)

Robotic assembly is a longstanding challenge, requiring contact-rich interaction and high precision and accuracy. Many applications also require adaptivity to diverse parts, poses, and environments, as well as low cycle times. In other areas of robotics, simulation is a powerful tool to develop algorithms, generate datasets, and train agents. However, simulation has had a more limited impact on assembly. We present IndustReal, a set of algorithms, systems, and tools that solve assembly tasks in simulation with reinforcement learning (RL) and successfully achieve policy transfer to the real world. Specifically, we propose 1) simulation-aware policy updates, 2) signed-distance-field rewards, and 3) sampling-based curricula for robotic RL agents. We use these algorithms to enable robots to solve contact-rich pick, place, and insertion tasks in simulation. We then propose 4) a policy-level action integrator to minimize error at policy deployment time. We build and demonstrate a real-world robotic assembly system that uses the trained policies and action integrator to achieve repeatable performance in the real world. Finally, we present hardware and software tools that allow other researchers to reproduce our system and results. For videos and additional details, please see http://sites.google.com/nvidia.com/industreal .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google