An Intelligent Social Learning-based Optimization Strategy for Black-box Robotic Control with Reinforcement Learning

要約

ロボットのインテリジェント制御の実装は、特に複雑なブラックボックス システムを扱う場合、これらのロボットが内部でどのように動作するかについての可視性と理解が不足しているため、困難な作業です。
この論文では、ブラックボックス ロボット システムのインテリジェントな制御を可能にするインテリジェント ソーシャル ラーニング (ISL) アルゴリズムを提案します。
人間の社会集団における個人間の相互学習に触発された ISL には、学習、模倣、および独学スタイルが含まれます。
学習スタイルの個人は、Levy フライト検索戦略を使用して、最も優れたパフォーマンスを発揮する人から学び、最も緊密な関係を築きます。
模倣スタイルでは、個人はランダム摂動戦略を採用することにより、第 2 レベルの信頼関係で最高のパフォーマンスを発揮する人を模倣します。
自習スタイルでは、成績優秀者と距離を置きながら、正規分布サンプリング法を用いて個人が自主的に学習します。
集団内の個人は、それぞれのスタイルで自律的な知的エージェントとみなされます。
ニューラル ネットワークは、環境やロボットと対話し、ネットワーク ポリシーを繰り返し最適化するために 3 つのスタイルで戦略的アクションを実行します。
全体として、ISL は強化学習のアイデアを組み込んだインテリジェントな最適化の原則に基づいて構築されており、強力な検索機能、高速な計算速度、少ないハイパーパラメーター、およびまばらな報酬に対する鈍感さを備えています。
提案された ISL アルゴリズムは、MuJoCo の 6 つの連続制御ベンチマーク ケースで 4 つの最先端の手法と比較され、その有効性と利点が検証されます。
さらに、検証のためのUR3ロボットのシミュレーションおよび実験的な把持タスクにISLが採用され、満足のいく解決策が得られています。

要約(オリジナル)

Implementing intelligent control of robots is a difficult task, especially when dealing with complex black-box systems, because of the lack of visibility and understanding of how these robots work internally. This paper proposes an Intelligent Social Learning (ISL) algorithm to enable intelligent control of black-box robotic systems. Inspired by mutual learning among individuals in human social groups, ISL includes learning, imitation, and self-study styles. Individuals in the learning style use the Levy flight search strategy to learn from the best performer and form the closest relationships. In the imitation style, individuals mimic the best performer with a second-level rapport by employing a random perturbation strategy. In the self-study style, individuals learn independently using a normal distribution sampling method while maintaining a distant relationship with the best performer. Individuals in the population are regarded as autonomous intelligent agents in each style. Neural networks perform strategic actions in three styles to interact with the environment and the robot and iteratively optimize the network policy. Overall, ISL builds on the principles of intelligent optimization, incorporating ideas from reinforcement learning, and possesses strong search capabilities, fast computation speed, fewer hyperparameters, and insensitivity to sparse rewards. The proposed ISL algorithm is compared with four state-of-the-art methods on six continuous control benchmark cases in MuJoCo to verify its effectiveness and advantages. Furthermore, ISL is adopted in the simulation and experimental grasping tasks of the UR3 robot for validations, and satisfactory solutions are yielded.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google