Rethinking Out-of-Distribution Detection for Reinforcement Learning: Advancing Methods for Evaluation and Detection

要約

強化学習 (RL) アルゴリズムは、多数の逐次的意思決定問題にうまく適用されてきましたが、予期せぬテスト環境への一般化には大きな懸念が残ります。
この論文では、RL における分布外 (OOD) 検出の問題について研究します。これは、RL エージェントがトレーニング環境で遭遇しなかったテスト時の状況を特定することに焦点を当てています。
まず、RL における OOD 検出の用語の明確化を提案し、他の機械学習ドメインの文献と整合させます。
次に、エージェントと環境のループのさまざまなコンポーネントに時間的自己相関を持つ異常を導入する、OOD 検出のための新しいベンチマーク シナリオを提示します。
私たちは、そのようなシナリオは現実世界の状況との関連性にもかかわらず、現在の文献では十分に研究されていないと主張します。
私たちの理論的予測を裏付ける実験結果は、最先端の OOD 検出器がそのような異常を識別できないことを示唆しています。
この問題に対処するために、我々は DEXTER (Detection via Extraction of Time Series Representations) と呼ぶ、OOD 検出のための新しい方法を提案します。
DEXTER は環境観察を時系列データとして扱うことで、顕著な時系列特徴を抽出し、一連の隔離フォレスト アルゴリズムを利用して異常を検出します。
DEXTER はベンチマーク シナリオ全体で異常を確実に特定でき、最先端の OOD 検出器や統計から採用された高次元変化点検出器の両方と比較して優れたパフォーマンスを発揮できることがわかりました。

要約(オリジナル)

While reinforcement learning (RL) algorithms have been successfully applied across numerous sequential decision-making problems, their generalization to unforeseen testing environments remains a significant concern. In this paper, we study the problem of out-of-distribution (OOD) detection in RL, which focuses on identifying situations at test time that RL agents have not encountered in their training environments. We first propose a clarification of terminology for OOD detection in RL, which aligns it with the literature from other machine learning domains. We then present new benchmark scenarios for OOD detection, which introduce anomalies with temporal autocorrelation into different components of the agent-environment loop. We argue that such scenarios have been understudied in the current literature, despite their relevance to real-world situations. Confirming our theoretical predictions, our experimental results suggest that state-of-the-art OOD detectors are not able to identify such anomalies. To address this problem, we propose a novel method for OOD detection, which we call DEXTER (Detection via Extraction of Time Series Representations). By treating environment observations as time series data, DEXTER extracts salient time series features, and then leverages an ensemble of isolation forest algorithms to detect anomalies. We find that DEXTER can reliably identify anomalies across benchmark scenarios, exhibiting superior performance compared to both state-of-the-art OOD detectors and high-dimensional changepoint detectors adopted from statistics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google