Adaptive PD Control using Deep Reinforcement Learning for Local-Remote Teleoperation with Stochastic Time Delays

要約

ローカルリモートシステムにより、宇宙や原子力発電所などの危険な環境でロボットが複雑なタスクを実行できるようになります。
ただし、ローカル デバイスとリモート デバイスの間で正確な位置マッピングを確立することは、システムのパフォーマンスと安定性を損なう可能性のある時間遅延により困難になる場合があります。
ローカル システムとリモート システムの同期性と安定性を強化することは、ロボットがより遠く離れた環境や、時間遅延などの非常に困難なネットワーク条件下で環境と対話できるようにするために不可欠です。
時間遅れ制御問題に取り組むために、強化学習を用いた適応制御手法を紹介します。
この適応型コントローラーは、コントローラー パラメーターをリアルタイムで調整することで確率的遅延を補償し、ローカルとリモートのロボット マニピュレーター間の同期性を向上させます。
適応 PD コントローラーのパフォーマンスを向上させるために、学習フレームワークにマルチステップ遅延を効果的に組み込むモデルベースの強化学習アプローチを考案しました。
この提案された手法を利用すると、ローカル-リモート システムのパフォーマンスは、最大 290 ミリ秒の確率的通信時間遅延に対して安定します。
私たちの結果は、提案されたモデルベースの強化学習手法がソフトアクタークリティックおよび拡張状態ソフトアクタークリティック手法を超えることを示しています。
コードにアクセスするには: https://github.com/CAV-Research-Lab/Predictive-Model-Delay-Correction

要約(オリジナル)

Local-remote systems allow robots to execute complex tasks in hazardous environments such as space and nuclear power stations. However, establishing accurate positional mapping between local and remote devices can be difficult due to time delays that can compromise system performance and stability. Enhancing the synchronicity and stability of local-remote systems is vital for enabling robots to interact with environments at greater distances and under highly challenging network conditions, including time delays. We introduce an adaptive control method employing reinforcement learning to tackle the time-delayed control problem. By adjusting controller parameters in real-time, this adaptive controller compensates for stochastic delays and improves synchronicity between local and remote robotic manipulators. To improve the adaptive PD controller’s performance, we devise a model-based reinforcement learning approach that effectively incorporates multi-step delays into the learning framework. Utilizing this proposed technique, the local-remote system’s performance is stabilized for stochastic communication time-delays of up to 290ms. Our results demonstrate that the suggested model-based reinforcement learning method surpasses the Soft-Actor Critic and augmented state Soft-Actor Critic techniques. Access the code at: https://github.com/CAV-Research-Lab/Predictive-Model-Delay-Correction

arxiv情報

提供元, 利用サービス

arxiv.jp, Google