A Distance-based Anomaly Detection Framework for Deep Reinforcement Learning

要約

深層強化学習 (RL) システムでは、異常な状態は予測不可能な動作や危険なアクションを引き起こす可能性があるため、重大なリスクをもたらし、そのため現実世界のシナリオでの RL システムの展開が妨げられます。
信頼性の高い意思決定システムにとって、処理能力のない見慣れない観測に遭遇したときにアラートを発する機能を備えていることが重要です。
この論文では、ディープ RL アルゴリズム用に \textit{MDX} と呼ばれる新しいマハラノビス距離ベース (MD) 異常検出フレームワークを提案します。
MDX は、オフライン設定とオンライン設定の両方で、ランダム、敵対的、および配布外 (OOD) 状態の外れ値に同時に対処します。
これは、各アクションのクラス条件付き分布内のマハラノビス距離を利用し、ガウス仮定に基づく統計的仮説検定フレームワーク内で動作します。
さらに、ロバスト MD および等角推論技術を組み込むことで、ロバストで配布不要のバージョンに拡張します。
古典的な制御環境、Atari ゲーム、自動運転シナリオに関する広範な実験を通じて、MD ベースの検出フレームワークの有効性を実証します。
MDX は、実際のアプリケーションにおける RL システムの安全性と信頼性を強化するための、シンプルで統合された実用的な異常検出ツールを提供します。

要約(オリジナル)

In deep reinforcement learning (RL) systems, abnormal states pose significant risks by potentially triggering unpredictable behaviors and unsafe actions, thus impeding the deployment of RL systems in real-world scenarios. It is crucial for reliable decision-making systems to have the capability to cast an alert whenever they encounter unfamiliar observations that they are not equipped to handle. In this paper, we propose a novel Mahalanobis distance-based (MD) anomaly detection framework, called \textit{MDX}, for deep RL algorithms. MDX simultaneously addresses random, adversarial, and out-of-distribution (OOD) state outliers in both offline and online settings. It utilizes Mahalanobis distance within class-conditional distributions for each action and operates within a statistical hypothesis testing framework under the Gaussian assumption. We further extend it to robust and distribution-free versions by incorporating Robust MD and conformal inference techniques. Through extensive experiments on classical control environments, Atari games, and autonomous driving scenarios, we demonstrate the effectiveness of our MD-based detection framework. MDX offers a simple, unified, and practical anomaly detection tool for enhancing the safety and reliability of RL systems in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google