Actions Speak What You Want: Provably Sample-Efficient Reinforcement Learning of the Quantal Stackelberg Equilibrium from Strategic Feedbacks

要約

私たちは、リーダーとフォロワーの構造を持つエピソード的なマルコフ ゲームで量子シュタッケルベルク均衡 (QSE) を学習するための強化学習 (RL) を研究します。
具体的には、ゲームの開始時にリーダーがフォロワーに自分の方針を発表し、それを実行します。
フォロワーはリーダーのポリシーを観察し、リーダーのポリシーによって引き起こされるエントロピー正則化ポリシー最適化問題を解くことによって量子応答ポリシーを採用します。
リーダーの目標は、フォロワーと対話し、データから学ぶことによって、最適な期待総利益をもたらす最適な政策を見つけることです。
この問題の主な課題は、リーダーがフォロワーの報酬を観察できないため、リーダーのポリシーに対するリーダーの行動からフォロワーの量子応答モデルを推測する必要があることです。
関数近似の観点から、オンラインとオフラインの両方の設定に対してサンプル効率の高いアルゴリズムを提案します。
私たちのアルゴリズムは、(i) 最尤推定による量子応答モデルの学習、および (ii) リーダーの意思決定問題を解決するためのモデルフリーまたはモデルベースの RL に基づいており、それらが線形未満のリグレス上限を達成することを示します。
さらに、これらの推定量の不確実性を定量化し、その不確実性を利用して、オンラインおよびオフラインの設定に楽観的および悲観的なアルゴリズムを実装します。
さらに、線形および近視設定に特化すると、アルゴリズムは計算効率も高くなります。
私たちの理論的分析は、量子応答モデルの誤差を組み込んだ新しい性能差補題を特徴としており、これは独立して興味深いものである可能性があります。

要約(オリジナル)

We study reinforcement learning (RL) for learning a Quantal Stackelberg Equilibrium (QSE) in an episodic Markov game with a leader-follower structure. In specific, at the outset of the game, the leader announces her policy to the follower and commits to it. The follower observes the leader’s policy and, in turn, adopts a quantal response policy by solving an entropy-regularized policy optimization problem induced by leader’s policy. The goal of the leader is to find her optimal policy, which yields the optimal expected total return, by interacting with the follower and learning from data. A key challenge of this problem is that the leader cannot observe the follower’s reward, and needs to infer the follower’s quantal response model from his actions against leader’s policies. We propose sample-efficient algorithms for both the online and offline settings, in the context of function approximation. Our algorithms are based on (i) learning the quantal response model via maximum likelihood estimation and (ii) model-free or model-based RL for solving the leader’s decision making problem, and we show that they achieve sublinear regret upper bounds. Moreover, we quantify the uncertainty of these estimators and leverage the uncertainty to implement optimistic and pessimistic algorithms for online and offline settings. Besides, when specialized to the linear and myopic setting, our algorithms are also computationally efficient. Our theoretical analysis features a novel performance-difference lemma which incorporates the error of quantal response model, which might be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google