Incentive-compatible Bandits: Importance Weighting No More

要約

私たちは、バンディットフィードバックを使用して、インセンティブと互換性のあるオンライン学習の問題を研究します。
このクラスの問題では、専門家は利己的なエージェントであり、最も頻繁に選ばれることを目標として自分の好みを偽る可能性があります。
目標は、同時にインセンティブと互換性のあるアルゴリズムを考案することです。つまり、専門家が自分の本当の好みを報告するよう動機付けられ、後から考えると最も固定された専門家の好みに関して後悔することはありません。
\citet{freeman2020no} は、最適な $O(\sqrt{T \log(K)})$ 後悔と $O(T^{2/3}(K\log(K)) を備えた完全情報設定のアルゴリズムを提案します
^{1/3})$ 山賊設定で後悔。
この研究では、$O(\sqrt{KT})$ のリグレット限界を享受する最初のインセンティブ互換アルゴリズムを提案します。
さらに、Freeman et al. で提案されたアルゴリズムが単純な損失バイアスによってどのように可能になるかを示します。
2020 年は $\tilde O(\sqrt{KT})$ 残念に思います。
私たちのアプローチの副産物として、重要度重み付け推定器を必要とせずに観測された損失シーケンスに完全に作用する、敵対的設定でほぼ最適なリグレス限界を持つ最初のバンディット アルゴリズムが得られます。
最後に、漸近的に最適な両方の利点を備えたリグレス保証、つまり、確率領域における対数リグレスと最悪の場合の $O(\sqrt{KT})$ リグレスを享受する、インセンティブと互換性のあるアルゴリズムを提供します。

要約(オリジナル)

We study the problem of incentive-compatible online learning with bandit feedback. In this class of problems, the experts are self-interested agents who might misrepresent their preferences with the goal of being selected most often. The goal is to devise algorithms which are simultaneously incentive-compatible, that is the experts are incentivised to report their true preferences, and have no regret with respect to the preferences of the best fixed expert in hindsight. \citet{freeman2020no} propose an algorithm in the full information setting with optimal $O(\sqrt{T \log(K)})$ regret and $O(T^{2/3}(K\log(K))^{1/3})$ regret in the bandit setting. In this work we propose the first incentive-compatible algorithms that enjoy $O(\sqrt{KT})$ regret bounds. We further demonstrate how simple loss-biasing allows the algorithm proposed in Freeman et al. 2020 to enjoy $\tilde O(\sqrt{KT})$ regret. As a byproduct of our approach we obtain the first bandit algorithm with nearly optimal regret bounds in the adversarial setting which works entirely on the observed loss sequence without the need for importance-weighted estimators. Finally, we provide an incentive-compatible algorithm that enjoys asymptotically optimal best-of-both-worlds regret guarantees, i.e., logarithmic regret in the stochastic regime as well as worst-case $O(\sqrt{KT})$ regret.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google