TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

要約

シミュレーションで学習し、学習したポリシーを現実世界に移すことで、ジェネラリストロボットを実現できる可能性があります。
このアプローチの主な課題は、シミュレーションと現実 (シミュレーションと現実) のギャップに対処することです。
以前の方法では、多くの場合、ドメイン固有の事前知識が必要です。
私たちは、そのような知識を得る簡単な方法は、現実世界でロボットの政策実行を人間に観察して支援してもらうことだと主張します。
その後、ロボットは人間から学習して、シミュレーションと現実のさまざまなギャップを埋めることができます。
私たちは、人間参加型フレームワークに基づいてシミュレーションからリアルへの転送を成功させるデータ駆動型アプローチである TRANSIC を提案します。
TRANSIC を使用すると、人間はシミュレーション ポリシーを拡張して、モデル化されていないシミュレーションと現実のさまざまなギャップを介入とオンライン修正を通じて総合的に克服できます。
残留ポリシーは人間による修正から学習し、自律的に実行するためのシミュレーション ポリシーと統合できます。
私たちのアプローチは、家具の組み立てなどの複雑で接触の多い操作タスクにおいて、シミュレーションからリアルへの変換を成功させることができることを示します。
TRANSIC は、シミュレーションと人間から学習したポリシーを相乗的に統合することにより、多くの場合共存するさまざまなシミュレーションと現実のギャップに対処するための総合的なアプローチとして効果的です。
人間の努力によるスケーリングなどの魅力的な特性を示します。
ビデオとコードは https://transic-robot.github.io/ で入手できます。

要約(オリジナル)

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google