Exploration Policies for On-the-Fly Controller Synthesis: A Reinforcement Learning Approach

要約

タイトル：リインフォースメントラーニングアプローチによるオンザフライコントローラ合成のための探索ポリシー

要約：
– コントローラの合成は、計画そのものがシステムの目標を無期限に守ることを意図した非決定論的環境のモデルベースの計画の場合である。
– 監視制御環境の場合、状態機械の並列合成として指定され、有効な戦略は「ブロッキング」を回避する必要があり、「安全」であると同時に、環境が特定のマークされた状態に到達できるようにする必要がある。
– 最近、オンザフライ指向コントローラ合成技術が提案され、（実際には「戦略」が）戦略を見つけるか、ないことを結論付けるために、全体の−指数関数的に大きいかもしれない−環境空間の探索を避ける。植物のインクリメンタルな探索は、現在、ドメインに依存しない人工設計のヒューリスティックによってガイドされている。
– この研究では、リインフォースメントラーニング（RL）に基づいたヒューリスティックを取得する新しい方法を提案しています。合成アルゴリズムは、アンバウンドなアクションスペースと修正されたDQNを用いたRL課題としてフレーム化されています。
– 状態と動作の両方を抽象化する単純で一般的な特徴量を使用することで、問題の小さなバージョンでヒューリスティックを学習し、ゼロショットポリシートランスファーを効果的に行うことができます。
– 私たちのエージェントは、高度に部分的に観測されたRLタスクでゼロから学習し、トレーニング中に見たことのないインスタンスで全体的に既存のヒューリスティックよりも優れた結果を出します。

要約(オリジナル)

Controller synthesis is in essence a case of model-based planning for non-deterministic environments in which plans (actually ”strategies”) are meant to preserve system goals indefinitely. In the case of supervisory control environments are specified as the parallel composition of state machines and valid strategies are required to be ”non-blocking” (i.e., always enabling the environment to reach certain marked states) in addition to safe (i.e., keep the system within a safe zone). Recently, On-the-fly Directed Controller Synthesis techniques were proposed to avoid the exploration of the entire -and exponentially large-environment space, at the cost of non-maximal permissiveness, to either find a strategy or conclude that there is none. The incremental exploration of the plant is currently guided by a domain-independent human-designed heuristic. In this work, we propose a new method for obtaining heuristics based on Reinforcement Learning (RL). The synthesis algorithm is thus framed as an RL task with an unbounded action space and a modified version of DQN is used. With a simple and general set of features that abstracts both states and actions, we show that it is possible to learn heuristics on small versions of a problem that generalize to the larger instances, effectively doing zero-shot policy transfer. Our agents learn from scratch in a highly partially observable RL task and outperform the existing heuristic overall, in instances unseen during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI