Robust Reward Design for Markov Decision Processes

要約

報酬設計の問題では、リーダーとフォロワーの間の相互作用を調べます。リーダーは、フォロワーの報酬関数を変更することで、リーダーの報酬を最大化するようにフォロワーの行動を形作ることを目的としています。
報酬設計への現在のアプローチは、フォロワーが報酬の変更にどのように反応するかについての正確なモデルに依存しているため、モデリングの不正確さの影響を受けやすい可能性があります。
この感度の問題に対処するために、1) 非固有の最良の応答が存在する場合にフォロワーが関係をどのように破るか、2) フォロワーが報酬の変更をどのように認識するかについての不正確な知識、および
3) フォロワーの限定された合理性。
私たちのロバストな解は穏やかな条件下で存在することが保証されており、混合整数線形計画を解くことで数値的に取得できます。
複数のテスト ケースでの数値実験により、当社のソリューションは、大幅な追加のコンピューティング コストを発生させることなく、標準的なアプローチと比較して堅牢性が向上することが実証されています。

要約(オリジナル)

The problem of reward design examines the interaction between a leader and a follower, where the leader aims to shape the follower’s behavior to maximize the leader’s payoff by modifying the follower’s reward function. Current approaches to reward design rely on an accurate model of how the follower responds to reward modifications, which can be sensitive to modeling inaccuracies. To address this issue of sensitivity, we present a solution that offers robustness against uncertainties in modeling the follower, including 1) how the follower breaks ties in the presence of nonunique best responses, 2) inexact knowledge of how the follower perceives reward modifications, and 3) bounded rationality of the follower. Our robust solution is guaranteed to exist under mild conditions and can be obtained numerically by solving a mixed-integer linear program. Numerical experiments on multiple test cases demonstrate that our solution improves robustness compared to the standard approach without incurring significant additional computing costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google