Non-maximizing policies that fulfill multi-criterion aspirations in expectation

要約

動的計画法と強化学習では、確率的環境におけるエージェントの逐次的な意思決定のポリシーは、通常、目標をスカラー報酬関数として表現し、期待される総報酬を最大化するポリシーを求めることによって決定されます。
しかし、人間が関心を寄せる多くの目標は、当然のことながら世界の複数の側面に関係しており、それらを 1 つの報酬関数に凝縮する方法は明らかではない可能性があります。
さらに、最大化は仕様ゲームの影響を受けます。そこでは、取得されたポリシーが意図しない方法で期待される合計報酬を大きく達成し、多くの場合、極端な行動や無意味な行動がとられます。
ここでは、ユーザーが最大化したい数量を必ずしも表すわけではない、複数の個別の評価メトリクスを備えた有限非循環マルコフ決定プロセスを検討します。
エージェントのタスクは、評価メトリクスの期待合計のベクトルが、願望セットと呼ばれる特定の凸セットに確実に収まることであると仮定します。
私たちのアルゴリズムは、シンプライスを使用して実現可能性セットを近似し、実現可能性を維持しながら希望を前方に伝播することで、このタスクが達成されることを保証します。
可能な状態-アクション-後続トリプルの数は線形で、評価メトリクスの数は多項式の複雑さを持ちます。
さらに、選択されたポリシーと目標の明示的に非最大化の性質により、アクションの選択にヒューリスティックな安全基準を適用するために使用できる追加の自由度が得られます。
エージェントをより保守的な動作に誘導することを目的とした、そのような安全基準のいくつかについて説明します。

要約(オリジナル)

In dynamic programming and reinforcement learning, the policy for the sequential decision making of an agent in a stochastic environment is usually determined by expressing the goal as a scalar reward function and seeking a policy that maximizes the expected total reward. However, many goals that humans care about naturally concern multiple aspects of the world, and it may not be obvious how to condense those into a single reward function. Furthermore, maximization suffers from specification gaming, where the obtained policy achieves a high expected total reward in an unintended way, often taking extreme or nonsensical actions. Here we consider finite acyclic Markov Decision Processes with multiple distinct evaluation metrics, which do not necessarily represent quantities that the user wants to be maximized. We assume the task of the agent is to ensure that the vector of expected totals of the evaluation metrics falls into some given convex set, called the aspiration set. Our algorithm guarantees that this task is fulfilled by using simplices to approximate feasibility sets and propagate aspirations forward while ensuring they remain feasible. It has complexity linear in the number of possible state-action-successor triples and polynomial in the number of evaluation metrics. Moreover, the explicitly non-maximizing nature of the chosen policy and goals yields additional degrees of freedom, which can be used to apply heuristic safety criteria to the choice of actions. We discuss several such safety criteria that aim to steer the agent towards more conservative behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google