TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

要約

階層組織は生物システムや人間社会の基本であるが、人工知能システムは適応性や拡張性を制限するモノリシックなアーキテクチャに依存することが多い。現在の階層強化学習(HRL)アプローチは、一般的に階層を2階層に制限するか、集中的な学習を必要とするため、実用的な適用が制限される。我々は、完全に分散化された階層型マルチエージェントシステムを構築するためのフレームワークであるTAMEエージェントフレームワーク(TAG)を紹介する。TAGは、各階層レベルをその上のエージェントの環境として抽象化する新しいLevelEnvコンセプトにより、任意の深さの階層を可能にする。このアプローチは、疎結合を維持しながらレベル間の情報フローを標準化し、多様なエージェントタイプのシームレスな統合を可能にします。我々は、複数のレベルにまたがる異なるRLエージェントを組み合わせた階層アーキテクチャを実装することにより、TAGの有効性を実証し、標準的なベンチマークにおいて従来のマルチエージェントRLベースラインを上回る性能向上を達成した。我々の結果は、分散化された階層構造が学習速度と最終的な性能の両方を向上させることを示しており、TAGをスケーラブルなマルチエージェントシステムの有望な方向性として位置づけている。

要約(オリジナル)

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL