Safety Margins for Reinforcement Learning

要約

自律型コントローラーは状況によっては安全ではありません。
これらの危険な状況がいつ発生しそうになるかを定量的に特定する機能は、貨物輸送アプリケーションなどで人によるタイムリーな監視を引き出すために非常に重要です。
この研究では、エージェントの状況の真の重大度が、いくつかのランダムなアクションが与えられた場合の報酬の平均減少として確実に定義できることを示します。
リアルタイムで (つまり、ランダムなアクションの影響を実際にシミュレートせずに) 計算可能なプロキシの重要度メトリクスは、真の重要度と比較でき、これらのプロキシ メトリクスを活用して、安全マージンを生成する方法を示します。
潜在的に誤ったアクションにより、全体的なパフォーマンスが低下することが予想されます。
Atari 環境内で APE-X および A3C から学習したポリシーに対するアプローチを評価し、エージェントが障害状態に近づくにつれて安全マージンがどのように減少するかを示します。
配備されたエージェントを監視するためのプログラムに安全マージンを統合することで、潜在的に壊滅的な状況をリアルタイムで特定できるようになります。

要約(オリジナル)

Any autonomous controller will be unsafe in some situations. The ability to quantitatively identify when these unsafe situations are about to occur is crucial for drawing timely human oversight in, e.g., freight transportation applications. In this work, we demonstrate that the true criticality of an agent’s situation can be robustly defined as the mean reduction in reward given some number of random actions. Proxy criticality metrics that are computable in real-time (i.e., without actually simulating the effects of random actions) can be compared to the true criticality, and we show how to leverage these proxy metrics to generate safety margins, which directly tie the consequences of potentially incorrect actions to an anticipated loss in overall performance. We evaluate our approach on learned policies from APE-X and A3C within an Atari environment, and demonstrate how safety margins decrease as agents approach failure states. The integration of safety margins into programs for monitoring deployed agents allows for the real-time identification of potentially catastrophic situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google