Exploiting Local Observations for Robust Robot Learning

要約

多くのロボットタスクは、完全な状態観測を伴う集中型シングルエージェント制御と分散型マルチエージェント制御のいずれかによって対処することができるが、最適なアプローチを選択するための明確な基準は欠如している。本論文では、局所観測を用いたマルチエージェント強化学習（MARL）が、従来の集中型制御手法と比較して、複雑なロボットシステムにおいてどのようにロバスト性を向上させることができるかを包括的に検討する。特定のタスクにおいて、分散型MARL制御が、摂動やエージェントの故障に対して優れたロバスト性を提供しながら、集中型アプローチに匹敵する性能を達成できることを実証する理論的分析と実証的検証の両方を提供する。我々の理論的貢献には、完全観測可能条件下でのSARLとMARLの等価性の解析的証明、観測可能性が重要な差別化要因であることの特定、外部摂動下での局所的に観測可能なポリシーの性能劣化境界の導出が含まれる。標準的なMARLベンチマークを用いた実証検証により、局所的に観測可能なMARLは、限られた観測量にもかかわらず、競争力のある性能を維持することが確認された。移動操作ロボットを用いた実世界実験により、我々の分散型MARLコントローラは、集中型ベースラインと比較して、エージェントの誤動作と環境擾乱の両方に対して著しく改善された頑健性を示すことが実証された。この系統的な研究は、複雑なロボットシステムにおいて、ロバストで一般化可能な制御戦略を設計するための重要な洞察を提供し、局所観測を用いたMARLが、従来の集中型制御パラダイムに代わる実行可能な選択肢であることを立証する。

要約(オリジナル)

While many robotic tasks can be addressed through either centralized single-agent control with full state observation or decentralized multi-agent control, clear criteria for selecting the optimal approach are lacking. This paper presents a comprehensive investigation into how multi-agent reinforcement learning (MARL) with local observations can enhance robustness in complex robotic systems compared to traditional centralized control methods. We provide both theoretical analysis and empirical validation demonstrating that in certain tasks, decentralized MARL controllers can achieve performance comparable to centralized approaches while offering superior robustness against perturbations and agent failures. Our theoretical contributions include an analytical proof of equivalence between SARL and MARL under full observability conditions, identifying observability as the key distinguishing factor, and derivation of performance degradation bounds for locally observable policies under external perturbations. Empirical validation on standard MARL benchmarks confirms that locally observable MARL maintains competitive performance despite limited observations. Real-world experiments with a mobile manipulation robot demonstrate that our decentralized MARL controllers exhibit significantly improved robustness to both agent malfunctions and environmental disturbances compared to centralized baselines. This systematic investigation provides crucial insights for designing robust and generalizable control strategies in complex robotic systems, establishing MARL with local observations as a viable alternative to traditional centralized control paradigms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL