SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering

要約

モデルベースの強化学習 (MBRL) は、モデルフリー RL よりもサンプル効率が大幅に高い可能性があると認識されています。
特に複雑な環境やタスクにおいて、生の感覚入力 (画像など) から正確なモデルを自動的かつ効率的にどのように開発できるかは、現実世界における MBRL の広範な適用を妨げる困難な問題です。
この研究では、SAM-RL と呼ばれるセンシング認識モデルベースの強化学習システムを提案します。
SAM-RL は、微分可能な物理ベースのシミュレーションとレンダリングを活用して、レンダリングされたイメージと実際の生のイメージを比較することでモデルを自動的に更新し、ポリシーを効率的に生成します。
SAM-RL では、センシング対応の学習パイプラインを使用して、ロボットがタスクのプロセスを監視するための有益な視点を選択できるようにします。
私たちはフレームワークを実世界の実験に適用して、ロボットの組み立て、ツールの操作、変形可能なオブジェクトの操作という 3 つの操作タスクを実行します。
私たちは広範な実験を通じて SAM-RL の有効性を実証します。
ビデオはプロジェクトの Web ページ (https://sites.google.com/view/rss-sam-rl) でご覧いただけます。

要約(オリジナル)

Model-based reinforcement learning (MBRL) is recognized with the potential to be significantly more sample-efficient than model-free RL. How an accurate model can be developed automatically and efficiently from raw sensory inputs (such as images), especially for complex environments and tasks, is a challenging problem that hinders the broad application of MBRL in the real world. In this work, we propose a sensing-aware model-based reinforcement learning system called SAM-RL. Leveraging the differentiable physics-based simulation and rendering, SAM-RL automatically updates the model by comparing rendered images with real raw images and produces the policy efficiently. With the sensing-aware learning pipeline, SAM-RL allows a robot to select an informative viewpoint to monitor the task process. We apply our framework to real world experiments for accomplishing three manipulation tasks: robotic assembly, tool manipulation, and deformable object manipulation. We demonstrate the effectiveness of SAM-RL via extensive experiments. Videos are available on our project webpage at https://sites.google.com/view/rss-sam-rl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google