Scalable Semantic Non-Markovian Simulation Proxy for Reinforcement Learning

要約

強化学習 (RL) の最近の進歩は、さまざまなアプリケーションにわたって大きな可能性を示しています。
ただし、スケーラビリティ、説明可能性、マルコフの仮定などの問題により、特定の領域での適用可能性が制限されます。
これらの欠点の多くは、RL トレーニング アルゴリズム自体ではなく、シミュレーターに起因していることがわかります。
そのため、注釈付きロジックの時間的拡張に基づいたシミュレーション用のセマンティック プロキシを提案します。
2 つの高忠実度シミュレーターと比較すると、学習したポリシーの品質を維持しながら最大 3 桁の高速化が見られ、また、非マルコフ ダイナミクスと瞬間的なアクションをモデル化して活用する能力を示しながら、説明可能なトレースを提供することも示されています。
エージェントのアクションの結果。

要約(オリジナル)

Recent advances in reinforcement learning (RL) have shown much promise across a variety of applications. However, issues such as scalability, explainability, and Markovian assumptions limit its applicability in certain domains. We observe that many of these shortcomings emanate from the simulator as opposed to the RL training algorithms themselves. As such, we propose a semantic proxy for simulation based on a temporal extension to annotated logic. In comparison with two high-fidelity simulators, we show up to three orders of magnitude speed-up while preserving the quality of policy learned in addition to showing the ability to model and leverage non-Markovian dynamics and instantaneous actions while providing an explainable trace describing the outcomes of the agent actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google