Memory-based Controllers for Efficient Data-driven Control of Soft Robots

要約

ソフトロボットのコントローラー設計は、柔軟な素材の非線形変形と自由度の高さにより困難を伴います。
データ駆動型のアプローチは、ソフト ロボットのコントローラー設計問題に対する有望な解決策です。
ただし、ソフト ロボット用の既存のデータ駆動型コントローラー設計方法には 2 つの欠点があります。(i) 過度に長いトレーニング時間が必要になること、および (ii) コントローラーが非効率になる可能性があることです。
この論文では、データ駆動型の方法でトレーニングできるソフト ロボット用の 2 つのメモリベースのコントローラー、有限メモリ コントローラー (FMC) アプローチと長短期記憶 (LSTM) ベースのアプローチを開発することで、これらの問題に対処します。
FMC は、さまざまな時点でのトラッキング エラーを保存し、保存されたトラッキング エラーの加重和に従って作動信号を計算します。
Q 学習、ソフト アクター クリティカル、および決定論的ポリシー勾配 (DDPG) 法を使用して FMC の最適な重みを計算するための 3 つの強化学習アルゴリズムを開発します。
LSTM ベースのコントローラーは LSTM ネットワークで構成されており、ネットワークの入力はロボットの望ましい構成と現在の構成です。
LSTM ネットワークは、ソフト ロボットが望ましい構成に従うために必要な作動信号を計算します。
ソフトフィンガーの制御における提案されたアプローチのパフォーマンスを研究します。ベンチマークとして、既存の強化学習 (RL) ベースのコントローラーと比例積分微分 (PID) コントローラーを使用します。
数値結果は、提案されたメモリベースのコントローラーのトレーニング時間が、古典的な RL ベースのコントローラーのトレーニング時間よりも大幅に短いことを示しています。
さらに、提案されたコントローラは、古典的な RL アルゴリズムや PID コントローラと比較して、より小さい追跡誤差を達成します。

要約(オリジナル)

Controller design for soft robots is challenging due to nonlinear deformation and high degrees of freedom of flexible material. The data-driven approach is a promising solution to the controller design problem for soft robots. However, the existing data-driven controller design methods for soft robots suffer from two drawbacks: (i) they require excessively long training time, and (ii) they may result in potentially inefficient controllers. This paper addresses these issues by developing two memory-based controllers for soft robots that can be trained in a data-driven fashion: the finite memory controller (FMC) approach and the long short-term memory (LSTM) based approach. An FMC stores the tracking errors at different time instances and computes the actuation signal according to a weighted sum of the stored tracking errors. We develop three reinforcement learning algorithms for computing the optimal weights of an FMC using the Q-learning, soft actor-critic, and deterministic policy gradient (DDPG) methods. An LSTM-based controller is composed of an LSTM network where the inputs of the network are the robot’s desired configuration and current configuration. The LSTM network computes the required actuation signal for the soft robot to follow the desired configuration. We study the performance of the proposed approaches in controlling a soft finger where, as benchmarks, we use the existing reinforcement learning (RL) based controllers and proportional-integral-derivative (PID) controllers. Our numerical results show that the training time of the proposed memory-based controllers is significantly shorter than that of the classical RL-based controllers. Moreover, the proposed controllers achieve a smaller tracking error compared with the classical RL algorithms and the PID controller.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google