Towards Transferring Tactile-based Continuous Force Control Policies from Simulation to Robot

要約

ロボット工学における触覚センサーの出現により、ロボットが環境相互作用の直接接触測定を活用して操作タスクを改善する方法について多くのアイデアが生まれました。
この点で重要な研究分野は、物体にかかる力の量を制限することによって物体を安全に操作することを目的とした把握力制御です。
これまでの研究では、力コントローラーを手動でモデル化するか、モデルベースのアプローチを採用するか、シミュレーションから現実への変換を示していませんでしたが、私たちは、シミュレーションでトレーニングされ、その後何もせずにロボットに変換されるモデルフリーの深層強化学習アプローチを提案します。
微調整。
したがって、我々は、継続的な力制御ポリシーを訓練するために使用する、現実的な垂直抗力を生成するシミュレーション環境を提示します。
ベースラインと比較してアブレーション研究を実行する評価では、私たちのアプローチが手作業でモデル化したベースラインよりも優れており、提案した帰納的バイアスとドメインのランダム化がシミュレーションからリアルへの移行を促進することが示されています。
コード、モデル、補足ビデオは https://sites.google.com/view/rl-force-ctrl で入手できます。

要約(オリジナル)

The advent of tactile sensors in robotics has sparked many ideas on how robots can leverage direct contact measurements of their environment interactions to improve manipulation tasks. An important line of research in this regard is that of grasp force control, which aims to manipulate objects safely by limiting the amount of force exerted on the object. While prior works have either hand-modeled their force controllers, employed model-based approaches, or have not shown sim-to-real transfer, we propose a model-free deep reinforcement learning approach trained in simulation and then transferred to the robot without further fine-tuning. We therefore present a simulation environment that produces realistic normal forces, which we use to train continuous force control policies. An evaluation in which we compare against a baseline and perform an ablation study shows that our approach outperforms the hand-modeled baseline and that our proposed inductive bias and domain randomization facilitate sim-to-real transfer. Code, models, and supplementary videos are available on https://sites.google.com/view/rl-force-ctrl

arxiv情報

提供元, 利用サービス

arxiv.jp, Google