Bidirectional Task-Motion Planning Based on Hierarchical Reinforcement Learning for Strategic Confrontation

要約

Swarm Roboticsでは、戦略的対立を含む対立シナリオには、個別のコマンドと継続的なアクションを統合する効率的な意思決定が必要です。
従来のタスクとモーションの計画方法は、意思決定を2つのレイヤーに分離しますが、それらの単方向構造はこれらの層間の相互依存性をキャプチャできず、動的環境での適応性が制限されます。
ここでは、階層強化学習に基づいた新しい双方向アプローチを提案し、層間の動的な相互作用を可能にします。
この方法は、タスクの割り当てとパス計画へのアクションを効果的にマップし、階層的なフレームワーク全体で学習を強化するためのクロストレーニング手法を活用します。
さらに、実行可能な計画目標を備えた抽象的なタスク表現を橋渡しする軌跡予測モデルを導入します。
私たちの実験では、対立勝利で80％以上、決定時間は0.01秒以内に達成され、既存のアプローチを上回ります。
大規模なテストと現実世界のロボット実験を通じてデモンストレーションは、私たちの方法の一般化能力と実用的な適用性をさらに強調しています。

要約(オリジナル)

In swarm robotics, confrontation scenarios, including strategic confrontations, require efficient decision-making that integrates discrete commands and continuous actions. Traditional task and motion planning methods separate decision-making into two layers, but their unidirectional structure fails to capture the interdependence between these layers, limiting adaptability in dynamic environments. Here, we propose a novel bidirectional approach based on hierarchical reinforcement learning, enabling dynamic interaction between the layers. This method effectively maps commands to task allocation and actions to path planning, while leveraging cross-training techniques to enhance learning across the hierarchical framework. Furthermore, we introduce a trajectory prediction model that bridges abstract task representations with actionable planning goals. In our experiments, it achieves over 80% in confrontation win rate and under 0.01 seconds in decision time, outperforming existing approaches. Demonstrations through large-scale tests and real-world robot experiments further emphasize the generalization capabilities and practical applicability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google