Can Euclidean Symmetry be Leveraged in Reinforcement Learning and Planning?

要約

ロボット タスクでは、基準フレームの変更は通常、物理法則の不変性として知られるシステムの基礎となる物理的特性には影響しません。距離を維持するこれらの変更には、平行移動、回転、反射などの等角投影変換がまとめて含まれます。
ユークリッド群として知られています。
この研究では、ユークリッド群対称性を持つ強化学習および計画タスクのための改良された学習アルゴリズムの設計を詳しく掘り下げます。
私たちは、強化学習、計画、最適制御における離散対称性と連続対称性に関するこれまでの研究を統合する理論を提唱しました。
アルゴリズム側では、値ベースの計画による 2D パス計画を連続 MDP にさらに拡張し、等変サンプリングベースの計画アルゴリズムを構築するためのパイプラインを提案します。
私たちの研究は経験的な証拠によって実証されており、自然制御問題に取り組む際のユークリッド対称性に対する等変性の利点を説明する例を通じて説明されています。

要約(オリジナル)

In robotic tasks, changes in reference frames typically do not influence the underlying physical properties of the system, which has been known as invariance of physical laws.These changes, which preserve distance, encompass isometric transformations such as translations, rotations, and reflections, collectively known as the Euclidean group. In this work, we delve into the design of improved learning algorithms for reinforcement learning and planning tasks that possess Euclidean group symmetry. We put forth a theory on that unify prior work on discrete and continuous symmetry in reinforcement learning, planning, and optimal control. Algorithm side, we further extend the 2D path planning with value-based planning to continuous MDPs and propose a pipeline for constructing equivariant sampling-based planning algorithms. Our work is substantiated with empirical evidence and illustrated through examples that explain the benefits of equivariance to Euclidean symmetry in tackling natural control problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google