Pareto Set Learning for Multi-Objective Reinforcement Learning

要約

ビデオ ゲーム、ナビゲーション、ロボット工学など、現実世界の多くのシナリオでは、多目的の意思決定の問題が発生しています。
意思決定プロセスの最適化における強化学習 (RL) の明らかな利点を考慮して、研究者らは、多目的意思決定問題を解決するための多目的 RL (MORL) 手法の開発を掘り下げてきました。
ただし、以前の方法では、パレート フロント全体を取得できなかったり、複数の目的にわたるすべての好みに対して単一のポリシー ネットワークのみを使用したりするため、各好みに対して個別のソリューションを生成できない可能性があります。
これらの制限に対処するために、我々は、MORL 用の新しい分解ベースのフレームワーク、MORL 用パレート集合学習 (PSL-MORL) を提案します。これは、ハイパーネットワークの生成機能を利用して、分解重みごとにポリシー ネットワークのパラメーターを生成し、比較的異なる重みを生成します。
さまざまなスカラー化された部分問題に対するポリシーを高効率で実現します。
PSL-MORL は、あらゆる RL アルゴリズムと互換性のある一般的なフレームワークです。
理論的結果は、PSL-MORL のモデル能力の優位性と得られたポリシー ネットワークの最適性を保証します。
さまざまなベンチマークに関する広範な実験を通じて、パレート フロントの高密度カバレッジを達成する際の PSL-MORL の有効性を実証し、ハイパーボリュームおよびスパーシティ指標において最先端の MORL 手法を大幅に上回りました。

要約(オリジナル)

Multi-objective decision-making problems have emerged in numerous real-world scenarios, such as video games, navigation and robotics. Considering the clear advantages of Reinforcement Learning (RL) in optimizing decision-making processes, researchers have delved into the development of Multi-Objective RL (MORL) methods for solving multi-objective decision problems. However, previous methods either cannot obtain the entire Pareto front, or employ only a single policy network for all the preferences over multiple objectives, which may not produce personalized solutions for each preference. To address these limitations, we propose a novel decomposition-based framework for MORL, Pareto Set Learning for MORL (PSL-MORL), that harnesses the generation capability of hypernetwork to produce the parameters of the policy network for each decomposition weight, generating relatively distinct policies for various scalarized subproblems with high efficiency. PSL-MORL is a general framework, which is compatible for any RL algorithm. The theoretical result guarantees the superiority of the model capacity of PSL-MORL and the optimality of the obtained policy network. Through extensive experiments on diverse benchmarks, we demonstrate the effectiveness of PSL-MORL in achieving dense coverage of the Pareto front, significantly outperforming state-of-the-art MORL methods in the hypervolume and sparsity indicators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google