CrystalBox: Future-Based Explanations for Input-Driven Deep RL Systems

要約

我々は、コンピュータ システムを含む入力駆動型環境の大規模ファミリーにおける深層強化学習 (DRL) コントローラー向けの、モデルに依存しない新しい事後説明可能フレームワークである CrystalBox を紹介します。
私たちは、入力駆動環境における報酬関数の自然な分解可能性と、分解された収益の説明力を組み合わせます。
離散制御環境と連続制御環境の両方にわたって将来ベースの説明を生成する効率的なアルゴリズムを提案します。
アダプティブ ビットレート ストリーミングや輻輳制御などのアプリケーションを使用して、忠実度の高い説明を生成する CrystalBox の機能を実証します。
さらに、顕著な特徴を特定する従来の説明可能性手法とは対照的に、対照的な説明、ネットワークの可観測性、誘導報酬設計という 3 つの実際の使用例にわたって、そのより高い有用性を説明します。

要約(オリジナル)

We present CrystalBox, a novel, model-agnostic, posthoc explainability framework for Deep Reinforcement Learning (DRL) controllers in the large family of input-driven environments which includes computer systems. We combine the natural decomposability of reward functions in input-driven environments with the explanatory power of decomposed returns. We propose an efficient algorithm to generate future-based explanations across both discrete and continuous control environments. Using applications such as adaptive bitrate streaming and congestion control, we demonstrate CrystalBox’s capability to generate high-fidelity explanations. We further illustrate its higher utility across three practical use cases: contrastive explanations, network observability, and guided reward design, as opposed to prior explainability techniques that identify salient features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google