A Policy Iteration Approach for Flock Motion Control

要約

フロッキング モーション コントロールは、マルチエージェント システムのローカル目標とチーム目標の間で発生する可能性のある競合の管理に関係しています。
全体的な制御プロセスは、群れの凝集性と局在化を監視しながら、エージェントを導きます。
基になるメカニズムは、群れのダイナミクスと形成に関連するモデル化されていない不確実性を見落とすために低下する可能性があります。
別の側面として、さまざまな制御設計の効率は、さまざまな動的状況にリアルタイムでどれだけ迅速に適応できるかにかかっています。
ここでは、オンラインのモデルフリー ポリシー反復メカニズムが開発され、エージェントの群れが時変グラフ トポロジ上で独立したコマンド ジェネレーターに従うように誘導されます。
任意の 2 つのエージェント間の接続の強さまたはグラフ エッジの重みは、位置隣接依存関数を使用して決定されます。
エージェントのダイナミクスやコマンド ジェネレーターのダイナミクスを知らずにガイダンス戦略を調整するために、オンラインの再帰的最小二乗法が採用されています。
これは、値反復法に基づく文献からの別の強化学習アプローチと比較されます。
ポリシー反復メカニズムのシミュレーション結果は、より少ない計算量で高速学習と収束動作を明らかにしました。

要約(オリジナル)

The flocking motion control is concerned with managing the possible conflicts between local and team objectives of multi-agent systems. The overall control process guides the agents while monitoring the flock-cohesiveness and localization. The underlying mechanisms may degrade due to overlooking the unmodeled uncertainties associated with the flock dynamics and formation. On another side, the efficiencies of the various control designs rely on how quickly they can adapt to different dynamic situations in real-time. An online model-free policy iteration mechanism is developed here to guide a flock of agents to follow an independent command generator over a time-varying graph topology. The strength of connectivity between any two agents or the graph edge weight is decided using a position adjacency dependent function. An online recursive least squares approach is adopted to tune the guidance strategies without knowing the dynamics of the agents or those of the command generator. It is compared with another reinforcement learning approach from the literature which is based on a value iteration technique. The simulation results of the policy iteration mechanism revealed fast learning and convergence behaviors with less computational effort.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google