The Trembling-Hand Problem for LTLf Planning

要約

エージェントが一時的な目標を達成するために「震える手」で行動していると考えてみましょう。
この場合、エージェントは、アクション選択メカニズムの欠陥または不正確さにより、一定の (通常は小さい) 確率で、意図されていないアクションを誤って指示する可能性があり、それによって目標の失敗につながる可能性があります。
私たちは、アクションに関する推論と、有限トレース上の線形時間論理 (LTLf) で表現される時間的に拡張された目標の計画のコンテキストで手の震えの問題を研究します。そこでは、条件を満たす確率を最大化する戦略 (計画とも呼ばれます) を合成したいと考えています。
震える手にもかかわらずLTLfゴール。
私たちは決定論的ドメインと非決定論的（敵対的）ドメインの両方を考慮します。
我々は、マルコフ決定プロセスと、LTLf 目標を備えた設定値遷移を伴うマルコフ決定プロセスにそれぞれ依存することにより、両方のケースに対する解決手法を提案します。設定値の確率的遷移は、環境からの非決定性と、環境からの起こり得るアクション命令エラーの両方を捕捉します。
エージェント。
私たちはソリューション技術の正しさを正式に示し、概念実証の実装を通じてその有効性を実験的に実証します。

要約(オリジナル)

Consider an agent acting to achieve its temporal goal, but with a ‘trembling hand’. In this case, the agent may mistakenly instruct, with a certain (typically small) probability, actions that are not intended due to faults or imprecision in its action selection mechanism, thereby leading to possible goal failure. We study the trembling-hand problem in the context of reasoning about actions and planning for temporally extended goals expressed in Linear Temporal Logic on finite traces (LTLf), where we want to synthesize a strategy (aka plan) that maximizes the probability of satisfying the LTLf goal in spite of the trembling hand. We consider both deterministic and nondeterministic (adversarial) domains. We propose solution techniques for both cases by relying respectively on Markov Decision Processes and on Markov Decision Processes with Set-valued Transitions with LTLf objectives, where the set-valued probabilistic transitions capture both the nondeterminism from the environment and the possible action instruction errors from the agent. We formally show the correctness of our solution techniques and demonstrate their effectiveness experimentally through a proof-of-concept implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google