Sim-to-Real Model-Based and Model-Free Deep Reinforcement Learning for Tactile Pushing

要約

オブジェクトの押し込みは、より複雑なロボット操作タスクを例証する、理解しにくい重要な操作問題を引き起こします。
深層強化学習 (RL) 手法は、視覚入力を使用した優れた学習能力を実証してきましたが、触覚センシングが欠如しているため、操作中に細かく信頼性の高い制御を行う能力は制限されています。
ここでは、視覚入力を伴わない触覚センシングを使用したオブジェクトの押し込み、つまり触覚押しに対するディープ RL アプローチを提案します。
我々は、モデルフリー RL とモデルベース RL の両方がオブジェクトを目標に到達させるための正確なポリシーを取得できるようにする、目標条件付き定式化を提示します。
現実世界のパフォーマンスを実現するために、シミュレーションからリアルへのアプローチを採用しています。
私たちの結果は、ドメインのランダム化を行わずに、さまざまな目に見えないオブジェクトやプッシュ シナリオに一般化できる、正確で信頼性の高いポリシーを生成するために、単一のオブジェクトと限られた目標サンプルでトレーニングできることを示しています。
私たちは、訓練されたエージェントを過酷な押し込み条件で実験し、大幅に多くのトレーニング サンプルを使用すると、モデルを使用しないポリシーがモデルベースのプランナーよりも優れたパフォーマンスを発揮し、大きな外乱にもかかわらず、より短く信頼性の高い押し込み軌道を生成できることを示しました。
私たちのトレーニング環境のシンプルさと実際の効果的なパフォーマンスは、微細な操作のための豊富な触覚情報の価値を際立たせています。
コードとビデオは https://sites.google.com/view/tactile-rl-pushing/ で入手できます。

要約(オリジナル)

Object pushing presents a key non-prehensile manipulation problem that is illustrative of more complex robotic manipulation tasks. While deep reinforcement learning (RL) methods have demonstrated impressive learning capabilities using visual input, a lack of tactile sensing limits their capability for fine and reliable control during manipulation. Here we propose a deep RL approach to object pushing using tactile sensing without visual input, namely tactile pushing. We present a goal-conditioned formulation that allows both model-free and model-based RL to obtain accurate policies for pushing an object to a goal. To achieve real-world performance, we adopt a sim-to-real approach. Our results demonstrate that it is possible to train on a single object and a limited sample of goals to produce precise and reliable policies that can generalize to a variety of unseen objects and pushing scenarios without domain randomization. We experiment with the trained agents in harsh pushing conditions, and show that with significantly more training samples, a model-free policy can outperform a model-based planner, generating shorter and more reliable pushing trajectories despite large disturbances. The simplicity of our training environment and effective real-world performance highlights the value of rich tactile information for fine manipulation. Code and videos are available at https://sites.google.com/view/tactile-rl-pushing/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google