TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

要約

階層組織は生物学的システムと人間社会の基本ですが、人工知能システムは、適応性とスケーラビリティを制限するモノリシックな建築に依存することがよくあります。
現在の階層補強学習（HRL）アプローチは、通常、階層を2つのレベルに制限するか、実用的な適用性を制限する集中トレーニングを必要とします。
完全に分散型の階層的マルチエージェントシステムを構築するためのフレームワークであるTAMEエージェントフレームワーク（TAG）を紹介します。TAGは、その上のエージェントの環境として各階層レベルを抽象化する新しいlevelENV概念を通じて、任意の深さの階層を有効にします。
このアプローチは、レベル間の情報フローを標準化しながら、ゆるいカップリングを維持し、多様なエージェントタイプのシームレスな統合を可能にします。
複数のレベルで異なるRLエージェントを組み合わせた階層アーキテクチャを実装し、標準ベンチマーク上の古典的なマルチエージェントRLベースラインのパフォーマンスの向上を実現することにより、TAGの有効性を実証します。
我々の結果は、分散型の階層組織が学習速度と最終パフォーマンスの両方を強化し、スケーラブルなマルチエージェントシステムの有望な方向としてタグを配置することを示しています。

要約(オリジナル)

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google