Enhancing Robotic Navigation: An Evaluation of Single and Multi-Objective Reinforcement Learning Strategies

要約

この研究では、障害物を効率的に回避しながら最終目標に効果的にナビゲートするロボットを訓練するための、単一目的強化学習手法と多目的強化学習手法の比較分析を示します。
従来の強化学習手法、つまり Deep Q-Network (DQN)、Deep Deterministic Policy Gradient (DDPG)、Twin Delayed DDPG (TD3) は、Gazebo シミュレーション フレームワークを使用して、ランダムな目標やランダムな目標などのパラメーターを使用してさまざまな環境で評価されてきました。
ロボットの開始場所。
これらの方法はロボットに数値的な報酬を提供し、目標に対する行動の質の指標を提供します。
ただし、複数の潜在的に矛盾する目的が存在する複雑な設定では、その限界が明らかになります。
これらの制限に対処するために、多目的強化学習 (MORL) を採用したアプローチを提案します。
それぞれが異なる目標に関係する報酬のベクトルを返すように報酬関数を変更することで、ロボットはさまざまな目標のバランスを効果的にとるポリシーを学習し、パレート最適解の達成を目指します。
この比較研究は、複雑で動的なロボット ナビゲーション タスクにおける MORL の可能性を浮き彫りにし、より適応性が高く堅牢なロボット動作に関する将来の研究への準備を整えます。

要約(オリジナル)

This study presents a comparative analysis between single-objective and multi-objective reinforcement learning methods for training a robot to navigate effectively to an end goal while efficiently avoiding obstacles. Traditional reinforcement learning techniques, namely Deep Q-Network (DQN), Deep Deterministic Policy Gradient (DDPG), and Twin Delayed DDPG (TD3), have been evaluated using the Gazebo simulation framework in a variety of environments with parameters such as random goal and robot starting locations. These methods provide a numerical reward to the robot, offering an indication of action quality in relation to the goal. However, their limitations become apparent in complex settings where multiple, potentially conflicting, objectives are present. To address these limitations, we propose an approach employing Multi-Objective Reinforcement Learning (MORL). By modifying the reward function to return a vector of rewards, each pertaining to a distinct objective, the robot learns a policy that effectively balances the different goals, aiming to achieve a Pareto optimal solution. This comparative study highlights the potential for MORL in complex, dynamic robotic navigation tasks, setting the stage for future investigations into more adaptable and robust robotic behaviors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google