SMAC-R1: The Emergence of Intelligence in Decision-Making Tasks

要約

Starcraft Multi-Agent Challenge（SMAC）は、マルチエージェント補強学習（MARL）で最も一般的に使用される実験環境の1つであり、特定のタスクは、敵軍を倒すためにセット数の関連ユニットを制御することです。
従来のMARLアルゴリズムは、多くの場合、数百万のステップで環境と対話する必要があります。パラメトリックモデルをトレーニングします。このポリシーは、通常、移動性が低い場合に解釈できません。
この論文では、DeepSeek-Coder-V2.5-236Bから蒸留されたQWEN2.5-7BベースLLMに基づくSMAC-R1を紹介します。
オフライン学習プロセスでの動作後のオンライン強化学習と同様に、パイプラインでは、エージェントはDeepSeek LLMを活用してタスクの説明を提供することで決定ツリーコードを生成し、エージェントは環境が提供する報酬からのフィードバックを使用してさらに自己反映されます。
それに基づいて、生成されたスクリプトを拡張して、小さなLLM、QWEN2.5-7Bベースを微調整して、監視された微調整（SFT）を介して意思決定能力を蒸留し、グループ相対ポリシー最適化（GRPO）アルゴリズムによってスクリプト生成能力を強化します。
元の23のSMACタスクと10の新しく設計されたタスクで実験を実施して、この方法で最小限の環境探査で高品質で解釈可能な決定ツリーを生成できることを実証します。
さらに、これらのスクリプトは強い転送可能性を示し、変更なしで均質なSMAC環境に正常に適用します。
このアプローチは、将来の意思決定タスクとドメイン固有のLLMトレーニングパイプラインを解決するための新しい方向性を提供すると考えています。

要約(オリジナル)

StarCraft Multi-Agent Challenge (SMAC) has been one of the most commonly used experimental environments in multi-agent reinforcement learning (MARL), where the specific task is to control a set number of allied units to defeat enemy forces. Traditional MARL algorithms often require interacting with the environment for millions of steps to train a parametric model, of which the resulting policies are typically non-interpretable with weak transferability. In this paper, we introduce SMAC-R1 which is based on the Qwen2.5-7B-Base LLM distilled from DeepSeek-Coder-v2.5-236B. Similar to online reinforcement learning after behavior cloning in offline learning process, in our pipeline, agents leverage the DeepSeek LLM to generate decision tree code by providing task descriptions, and the agents are further self-reflected using feedback from the rewards provided by the environment. Based on that, we augment the generated scripts to fine-tune a small LLM, Qwen2.5-7B-Base, to distill the decision-making ability via Supervised Fine-Tuning (SFT) and enhance the script generation ability by the Group Relative Policy Optimization (GRPO) algorithm. We conduct experiments in the original 23 SMAC tasks and 10 newly-designed tasks to demonstrate that our method can produce high-quality, interpretable decision trees with minimal environmental exploration. Moreover, these scripts exhibit strong transferability, successfully applying to homogeneous SMAC environments without modification. We believe this approach offers a new direction for solving decision-making tasks and domain-specific LLM training pipelines in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google