COBRA: Contextual Bandit Algorithm for Ensuring Truthful Strategic Agents

要約

このペーパーでは、学習者がコンテキストとエージェントの報告された腕を順次観察し、システム全体の報酬を最大化するアームを選択する複数のエージェントを含むコンテキスト盗賊問題を考慮します。
文脈的盗賊の既存の作業は、エージェントが多くの現実のアプリケーションで非現実的であることを誠実に報告することを前提としています。
たとえば、複数の売り手を持つオンラインプラットフォームを検討してください。
一部の売り手は、プラットフォームがオンラインユーザーに製品を優先的に推奨するなど、利点を獲得するために製品の品質を誤って伝えている場合があります。
この課題に対処するために、私たちは、金銭的インセンティブを使用せずに戦略的行動を除去する戦略的エージェントを含む文脈上の盗賊の問題について、アルゴリズムであるCobraを提案します。
実験結果は、提案されたアルゴリズムのさまざまなパフォーマンスの側面も検証します。

要約(オリジナル)

This paper considers a contextual bandit problem involving multiple agents, where a learner sequentially observes the contexts and the agent’s reported arms, and then selects the arm that maximizes the system’s overall reward. Existing work in contextual bandits assumes that agents truthfully report their arms, which is unrealistic in many real-life applications. For instance, consider an online platform with multiple sellers; some sellers may misrepresent product quality to gain an advantage, such as having the platform preferentially recommend their products to online users. To address this challenge, we propose an algorithm, COBRA, for contextual bandit problems involving strategic agents that disincentivize their strategic behavior without using any monetary incentives, while having incentive compatibility and a sub-linear regret guarantee. Our experimental results also validate the different performance aspects of our proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google