LightZero: A Unified Benchmark for Monte Carlo Tree Search in General Sequential Decision Scenarios

要約

学習されたモデルを使用したツリー検索計画機能に基づいたエージェントの構築は、Go や Atari などの古典的な意思決定問題で目覚ましい成功を収めています。
ただし、モンテカルロ ツリー検索 (MCTS) ベースのアルゴリズムを現実世界のさまざまなアプリケーションに拡張することは、特にこれらの環境が複雑なアクション スペースや多大なシミュレーション コスト、または固有の確率性を伴う場合には、困難であるか、実行不可能であると考えられてきました。
この作業では、一般的な逐次意思決定シナリオで MCTS/MuZero を導入するための最初の統合ベンチマークである LightZero を紹介します。
特に、一般的な MCTS スタイルの意思決定ソルバーを設計する際の最も重要な課題を要約し、ツリー検索 RL 法の密結合アルゴリズムとシステム設計を個別のサブモジュールに分解します。
より適切な探索と最適化戦略を組み込むことで、これらのサブモジュールを大幅に強化し、ボード ゲーム、Atari、MuJoCo、MiniGrid、GoBigger などの幅広いドメインにわたるタスクに取り組む強力な LightZero エージェントを構築できます。
詳細なベンチマーク結果は、スケーラブルで効率的な意思決定インテリジェンスの構築におけるこのような手法の大きな可能性を明らかにしています。
このコードは、https://github.com/opendilab/LightZero で OpenDILab の一部として入手できます。

要約(オリジナル)

Building agents based on tree-search planning capabilities with learned models has achieved remarkable success in classic decision-making problems, such as Go and Atari. However, it has been deemed challenging or even infeasible to extend Monte Carlo Tree Search (MCTS) based algorithms to diverse real-world applications, especially when these environments involve complex action spaces and significant simulation costs, or inherent stochasticity. In this work, we introduce LightZero, the first unified benchmark for deploying MCTS/MuZero in general sequential decision scenarios. Specificially, we summarize the most critical challenges in designing a general MCTS-style decision-making solver, then decompose the tightly-coupled algorithm and system design of tree-search RL methods into distinct sub-modules. By incorporating more appropriate exploration and optimization strategies, we can significantly enhance these sub-modules and construct powerful LightZero agents to tackle tasks across a wide range of domains, such as board games, Atari, MuJoCo, MiniGrid and GoBigger. Detailed benchmark results reveal the significant potential of such methods in building scalable and efficient decision intelligence. The code is available as part of OpenDILab at https://github.com/opendilab/LightZero.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google