State Representations as Incentives for Reinforcement Learning Agents: A Sim2Real Analysis on Robotic Grasping

要約

強化学習エージェントの基礎となる意思決定プロセスに適した環境表現を選択することは、必ずしも簡単ではありません。
状態表現は、エージェントが情報に基づいてアクションを決定できるように十分包括的であり、ポリシー トレーニングと対応する sim2real 転送を簡素化できるほど十分に解きほぐされている必要があります。
このような見通しを踏まえ、この研究では、エージェントが特定のロボット タスク、つまり対蹠的および平面的な物体の把握を解決するよう促す際のさまざまな表現の効果を検証します。
状態表現の連続体は、手動で作成された数値状態から始まり、エンコードされた画像ベースの表現まで、誘導されるタスク固有の知識のレベルを下げながら定義されます。
エージェントがシミュレーションでタスクを解決する能力に対する各表現の影響と、学習したポリシーの実際のロボットへの移行可能性が検査され、完全なシステム知識を備えたモデルベースのアプローチと比較されます。
結果は、数値状態を使用する強化学習エージェントが非学習ベースラインと同等のパフォーマンスを発揮できることを示しています。
さらに、事前にトレーニングされた環境埋め込みベクトルからの画像ベースの表現を使用するエージェントは、エンドツーエンドでトレーニングされたエージェントよりも優れたパフォーマンスを発揮することを発見し、強化学習から表現学習を分離することが sim2real 転送に利益をもたらす可能性があると仮説を立てています。
最後に、タスク固有の知識で状態表現を奨励することで、エージェント トレーニングの収束が促進され、sim2real ロボット制御の成功率が向上すると結論付けています。

要約(オリジナル)

Choosing an appropriate representation of the environment for the underlying decision-making process of the reinforcement learning agent is not always straightforward. The state representation should be inclusive enough to allow the agent to informatively decide on its actions and disentangled enough to simplify policy training and the corresponding sim2real transfer. Given this outlook, this work examines the effect of various representations in incentivizing the agent to solve a specific robotic task: antipodal and planar object grasping. A continuum of state representations is defined, starting from hand-crafted numerical states to encoded image-based representations, with decreasing levels of induced task-specific knowledge. The effects of each representation on the ability of the agent to solve the task in simulation and the transferability of the learned policy to the real robot are examined and compared against a model-based approach with complete system knowledge. The results show that reinforcement learning agents using numerical states can perform on par with non-learning baselines. Furthermore, we find that agents using image-based representations from pre-trained environment embedding vectors perform better than end-to-end trained agents, and hypothesize that separation of representation learning from reinforcement learning can benefit sim2real transfer. Finally, we conclude that incentivizing the state representation with task-specific knowledge facilitates faster convergence for agent training and increases success rates in sim2real robot control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google