Constrained Decision Transformer for Offline Safe Reinforcement Learning

要約

安全な強化学習 (RL) は、環境と対話することによって制約充足ポリシーをトレーニングします。
オフラインのデータセットから安全なポリシーを学習するという、より困難な問題に取り組むことを目指しています。
新しい多目的最適化の観点からオフラインの安全な RL 問題を研究し、問題の困難さを特徴付ける $\epsilon$ 還元可能な概念を提案します。
安全性とタスク パフォーマンスの間の固有のトレードオフは、展開中にトレードオフを動的に調整できる、制約付き意思決定変換 (CDT) アプローチを提案するよう促します。
広範な実験により、適応的で、安全で、ロバストで、高報酬のポリシーを学習する際の提案された方法の利点が示されています。
CDT は、さまざまな制約しきい値に対するゼロショット適応機能を維持しながら、すべてのタスクで同じハイパーパラメーターを使用して、バリアントと強力なオフラインで安全な RL ベースラインよりも大幅に優れています。

要約(オリジナル)

Safe reinforcement learning (RL) trains a constraint satisfaction policy by interacting with the environment. We aim to tackle a more challenging problem: learning a safe policy from an offline dataset. We study the offline safe RL problem from a novel multi-objective optimization perspective and propose the $\epsilon$-reducible concept to characterize problem difficulties. The inherent trade-offs between safety and task performance inspire us to propose the constrained decision transformer (CDT) approach, which can dynamically adjust the trade-offs during deployment. Extensive experiments show the advantages of the proposed method in learning an adaptive, safe, robust, and high-reward policy. CDT outperforms its variants and strong offline safe RL baselines by a large margin with the same hyperparameters across all tasks, while keeping the zero-shot adaptation capability to different constraint thresholds, making our approach more suitable for real-world RL under constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google