Quantification before Selection: Active Dynamics Preference for Robust Reinforcement Learning

要約

堅牢なポリシーをトレーニングすることは、現実世界のシステムにポリシーを展開する場合、またはさまざまな動的システムにおける未知の動的不一致に対処する場合に重要です。
Domain Randomization~(DR) は、ターゲット システム パラメーターに関する専門知識がなくても、さまざまな動的システムに対抗するための保守的なポリシーをトレーニングする、シンプルでエレガントなアプローチです。
ただし、既存の研究では、DR を通じてトレーニングされたポリシーは過度に保守的になる傾向があり、ターゲット ドメインでのパフォーマンスが低いことが明らかになりました。
私たちの重要な洞察は、異なるパラメーターを持つ動的システムはポリシーの異なるレベルの難易度を提供し、システム内で適切に動作する難しさはポリシーの進化により常に変化するということです。
ポリシーに合わせて適切な難易度でシステムをその場で積極的にサンプリングできれば、トレーニング プロセスが安定し、ポリシーが過度に保守的または過度に楽観的になるのを防ぐことができます。
このアイデアを運用するために、サンプリングされたシステム パラメーターの情報量と密度を定量化する Active Dynamics Preference~(ADP) を導入します。
ADP は、情報量が高く、密度が低いシステム パラメータをアクティブに選択します。
トレーニング環境とテスト環境の間にさまざまな差異がある 4 つのロボット移動タスクでアプローチを検証します。
広範な結果は、私たちのアプローチがいくつかのベースラインと比較してシステムの不整合に対して優れた堅牢性を備えていることを示しています。

要約(オリジナル)

Training a robust policy is critical for policy deployment in real-world systems or dealing with unknown dynamics mismatch in different dynamic systems. Domain Randomization~(DR) is a simple and elegant approach that trains a conservative policy to counter different dynamic systems without expert knowledge about the target system parameters. However, existing works reveal that the policy trained through DR tends to be over-conservative and performs poorly in target domains. Our key insight is that dynamic systems with different parameters provide different levels of difficulty for the policy, and the difficulty of behaving well in a system is constantly changing due to the evolution of the policy. If we can actively sample the systems with proper difficulty for the policy on the fly, it will stabilize the training process and prevent the policy from becoming over-conservative or over-optimistic. To operationalize this idea, we introduce Active Dynamics Preference~(ADP), which quantifies the informativeness and density of sampled system parameters. ADP actively selects system parameters with high informativeness and low density. We validate our approach in four robotic locomotion tasks with various discrepancies between the training and testing environments. Extensive results demonstrate that our approach has superior robustness for system inconsistency compared to several baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google