Learning Optimal Contracts: How to Exploit Small Action Spaces

要約

私たちは、プリンシパルがエージェントに有利な結果につながる高価で観察不可能な行動を取るよう誘導するために、契約と呼ばれる結果依存の支払いスキームにコミットするプリンシパル・エージェント問題を研究しています。
私たちは、プリンシパルが複数のラウンドにわたって契約を締結することによってエージェントと対話する、問題の古典的な (シングルラウンド) バージョンの一般化を検討します。
プリンシパルはエージェントに関する情報を持たず、各ラウンドで実現される結果を観察することによってのみ最適な契約を学習する必要があります。
エージェントのアクションスペースのサイズが小さい設定に焦点を当てます。
アクションの数が一定の場合、結果空間のサイズで多項式のラウンド数で高い確率でほぼ最適な契約を学習するアルゴリズムを設計します。
私たちのアルゴリズムは、Zhu et al.[2022] による未解決の問題を解決します。
さらに、これは、校長が累積効用を最大化することを目的とする関連するオンライン学習設定において、$\tilde{\mathcal{O}}(T^{4/5})$ 後悔制限を提供するために使用することもできます。
以前に知られていた後悔の限界が大幅に改善されました。

要約(オリジナル)

We study principal-agent problems in which a principal commits to an outcome-dependent payment scheme — called contract — in order to induce an agent to take a costly, unobservable action leading to favorable outcomes. We consider a generalization of the classical (single-round) version of the problem in which the principal interacts with the agent by committing to contracts over multiple rounds. The principal has no information about the agent, and they have to learn an optimal contract by only observing the outcome realized at each round. We focus on settings in which the size of the agent’s action space is small. We design an algorithm that learns an approximately-optimal contract with high probability in a number of rounds polynomial in the size of the outcome space, when the number of actions is constant. Our algorithm solves an open problem by Zhu et al.[2022]. Moreover, it can also be employed to provide a $\tilde{\mathcal{O}}(T^{4/5})$ regret bound in the related online learning setting in which the principal aims at maximizing their cumulative utility, thus considerably improving previously-known regret bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google