A comparison of RL-based and PID controllers for 6-DOF swimming robots: hybrid underwater object tracking

要約

この論文では、6DOF 水泳ロボットのコンテキストで広く使用されている PID コントローラーの代わりに、集中型ディープ Q ネットワーク (DQN) コントローラーを採用する調査と評価を示します。
私たちの主な焦点は、水中物体追跡の特定のケースでこの移行を説明することにあります。
DQN は、他の強化学習手法よりも実装が簡単でありながら、データ効率やオフポリシー学習などの利点を提供します。
私たちのロボットには動的モデルがないことを考慮して、この多入力多出力 (MIMO) システムを制御する RL エージェントを提案します。この場合、集中コントローラーは個別の PID よりも堅牢な制御を提供する可能性があります。
私たちのアプローチでは、最初は安全な探索のために古典的なコントローラーを使用し、その後徐々に DQN に移行してロボットを完全に制御します。
水中追跡タスクを視覚モジュールと制御モジュールに分割します。
私たちはビジョンベースの追跡に確立された方法を使用し、集中型の DQN コントローラーを導入します。
バウンディングボックスデータをビジョンモジュールからコントロールモジュールに送信することで、さまざまなオブジェクトへの適応とビジョンシステムの簡単な交換が可能になります。
さらに、低次元データを扱うことで、コントローラーのコスト効率の高いオンライン学習が促進されます。
Unity ベースのシミュレーター内で行われた私たちの実験は、分離された PID コントローラーに対する集中型 RL エージェントの有効性を検証し、水中 RL エージェントのトレーニングに対するフレームワークの適用性と、従来の制御方法と比較してパフォーマンスが向上していることを示しています。
実際の実装とシミュレーション実装のコードは、https://github.com/FARAZLOTFI/underwater-object-tracking にあります。

要約(オリジナル)

In this paper, we present an exploration and assessment of employing a centralized deep Q-network (DQN) controller as a substitute for the prevalent use of PID controllers in the context of 6DOF swimming robots. Our primary focus centers on illustrating this transition with the specific case of underwater object tracking. DQN offers advantages such as data efficiency and off-policy learning, while remaining simpler to implement than other reinforcement learning methods. Given the absence of a dynamic model for our robot, we propose an RL agent to control this multi-input-multi-output (MIMO) system, where a centralized controller may offer more robust control than distinct PIDs. Our approach involves initially using classical controllers for safe exploration, then gradually shifting to DQN to take full control of the robot. We divide the underwater tracking task into vision and control modules. We use established methods for vision-based tracking and introduce a centralized DQN controller. By transmitting bounding box data from the vision module to the control module, we enable adaptation to various objects and effortless vision system replacement. Furthermore, dealing with low-dimensional data facilitates cost-effective online learning for the controller. Our experiments, conducted within a Unity-based simulator, validate the effectiveness of a centralized RL agent over separated PID controllers, showcasing the applicability of our framework for training the underwater RL agent and improved performance compared to traditional control methods. The code for both real and simulation implementations is at https://github.com/FARAZLOTFI/underwater-object-tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google