SMOSE: Sparse Mixture of Shallow Experts for Interpretable Reinforcement Learning in Continuous Control Tasks

要約

継続的な制御タスクには、多くの場合、高次元、動的、非線形の環境が関係します。
これらのタスクにおける最先端のパフォーマンスは、効果的ではありますが、固有の不透明性を伴う複雑なクローズドボックス ポリシーを通じて実現されます。
解釈可能なポリシーは、クローズドボックスのポリシーに比べて一般にパフォーマンスが劣りますが、自動化システム内での透明性のある意思決定を促進するという利点があります。
したがって、それらの使用は、エラーの診断と軽減、倫理的および法的説明責任のサポート、および利害関係者間の信頼の醸成に不可欠であることがよくあります。
この論文では、トップ 1 の専門家混合アーキテクチャに基づいて、まばらにアクティブ化された解釈可能なコントローラーをトレーニングするための新しい方法である SMOSE を提案します。
SMOSE は、さまざまな基本スキルの専門家になるように訓練された一連の解釈可能な意思決定者と、専門家間でタスクを割り当てる解釈可能なルーターを組み合わせています。
トレーニングは最先端の強化学習アルゴリズムを介して実行され、負荷分散技術を活用して専門家による公正な使用を保証します。
次に、ルーターの重みから決定木を抽出し、解釈の容易さを大幅に向上させます。
MuJoCo の 6 つのベンチマーク環境で SMOSE を評価します。私たちの方法は、最近の解釈可能なベースラインを上回り、解釈不可能な最先端のアルゴリズムとのギャップを狭めます。

要約(オリジナル)

Continuous control tasks often involve high-dimensional, dynamic, and non-linear environments. State-of-the-art performance in these tasks is achieved through complex closed-box policies that are effective, but suffer from an inherent opacity. Interpretable policies, while generally underperforming compared to their closed-box counterparts, advantageously facilitate transparent decision-making within automated systems. Hence, their usage is often essential for diagnosing and mitigating errors, supporting ethical and legal accountability, and fostering trust among stakeholders. In this paper, we propose SMOSE, a novel method to train sparsely activated interpretable controllers, based on a top-1 Mixture-of-Experts architecture. SMOSE combines a set of interpretable decisionmakers, trained to be experts in different basic skills, and an interpretable router that assigns tasks among the experts. The training is carried out via state-of-the-art Reinforcement Learning algorithms, exploiting load-balancing techniques to ensure fair expert usage. We then distill decision trees from the weights of the router, significantly improving the ease of interpretation. We evaluate SMOSE on six benchmark environments from MuJoCo: our method outperforms recent interpretable baselines and narrows the gap with noninterpretable state-of-the-art algorithms

arxiv情報

提供元, 利用サービス

arxiv.jp, Google