Incentivized Learning in Principal-Agent Bandit Games

要約

この研究では、プリンシパルとエージェントのバンディット ゲームが繰り返されることを考慮しています。このゲームでは、プリンシパルはエージェントを通じてのみ自分の環境と対話できます。
プリンシパルとエージェントの目的は一致しておらず、行動の選択はエージェントにのみ委ねられています。
ただし、プリンシパルは、報酬に加算されるインセンティブを提供することで、エージェントの決定に影響を与えることができます。
校長は、自分自身の全体的な効用を最大化するためのインセンティブ ポリシーを繰り返し学習することを目指しています。
このフレームワークは通常のバンディット問題を拡張し、伝統的に使用されているメカニズム設計理論では問題の学習面が見落とされることが多い医療や環境課税などのいくつかの実際的な応用を動機としています。
我々は、マルチアームおよび線形コンテキスト設定の両方において、校長の後悔に対してほぼ最適な (水平線 $T$ に関して) 学習アルゴリズムを提示します。
最後に、数値実験を通じて理論的保証を裏付けます。

要約(オリジナル)

This work considers a repeated principal-agent bandit game, where the principal can only interact with her environment through the agent. The principal and the agent have misaligned objectives and the choice of action is only left to the agent. However, the principal can influence the agent’s decisions by offering incentives which add up to his rewards. The principal aims to iteratively learn an incentive policy to maximize her own total utility. This framework extends usual bandit problems and is motivated by several practical applications, such as healthcare or ecological taxation, where traditionally used mechanism design theories often overlook the learning aspect of the problem. We present nearly optimal (with respect to a horizon $T$) learning algorithms for the principal’s regret in both multi-armed and linear contextual settings. Finally, we support our theoretical guarantees through numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google