Accelerating Visual Reinforcement Learning with Separate Primitive Policy for Peg-in-Hole Tasks

要約

ペグインホールタスクの場合、人間は双眼視覚に依存して穴の表面の上にペグを配置し、挿入を進めます。
このペーパーでは、エージェントが視覚強化学習を通じて効率的な組み立て戦略を学ぶことができるように、この動作からの洞察を導き出します。
したがって、場所と挿入アクションを導き出す方法を同時に学ぶために、個別の原始ポリシー（S2P）を提案します。
S2Pは、モデルフリーの強化学習アルゴリズムと互換性があります。
さまざまなポリゴンを備えた10の挿入タスクが、評価のためのベンチマークとして開発されています。
シミュレーション実験により、S2Pは、力の制約があってもサンプルの効率と成功率を高めることができることが示されています。
S2Pの実現可能性を検証するために、実際の実験も実行されます。
S2Pの一般化とそのパフォーマンスに影響を与えるいくつかの要因について議論するために、アブレーションが最終的に与えられます。

要約(オリジナル)

For peg-in-hole tasks, humans rely on binocular visual perception to locate the peg above the hole surface and then proceed with insertion. This paper draws insights from this behavior to enable agents to learn efficient assembly strategies through visual reinforcement learning. Hence, we propose a Separate Primitive Policy (S2P) to simultaneously learn how to derive location and insertion actions. S2P is compatible with model-free reinforcement learning algorithms. Ten insertion tasks featuring different polygons are developed as benchmarks for evaluations. Simulation experiments show that S2P can boost the sample efficiency and success rate even with force constraints. Real-world experiments are also performed to verify the feasibility of S2P. Ablations are finally given to discuss the generalizability of S2P and some factors that affect its performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google