Reinforcement Learning Interventions on Boundedly Rational Human Agents in Frictionful Tasks

要約

重要な動作変更の多くは摩擦を伴います。
すぐには満足できないものの、長期間にわたって努力を費やすことが求められます。
ここでは、人工知能 (AI) エージェントがパーソナライズされた介入を提供して、個人が目標を達成できるように支援します。
このような設定では、AI エージェントは、行動介入を理解できるように、(個人が離脱する前に) 迅速かつ解釈可能にパーソナライズする必要があります。
この論文では、AI エージェントが有界合理的人間エージェントに属するマルコフ決定プロセス (MDP) のパラメーターに介入するフレームワークである行動モデル強化学習 (BMRL) を紹介します。
人間の意思決定者を計画主体として定式化することで、望ましくない人間の政策 (目標につながらない政策) を、極端に低い割引率などの不適応な MDP パラメータのせいにすることができます。
さらに、摩擦の多いタスクにおける基本的な動作を捕捉する扱いやすい人間モデルのクラスを提案します。
BMRL に特有の MDP 等価性の概念を導入することで、人間モデルを使用した AI 計画が、より複雑でグラウンドトゥルースな人間の広範囲にわたる有用な政策につながる可能性があることを理論的および経験的に示します。

要約(オリジナル)

Many important behavior changes are frictionful; they require individuals to expend effort over a long period with little immediate gratification. Here, an artificial intelligence (AI) agent can provide personalized interventions to help individuals stick to their goals. In these settings, the AI agent must personalize rapidly (before the individual disengages) and interpretably, to help us understand the behavioral interventions. In this paper, we introduce Behavior Model Reinforcement Learning (BMRL), a framework in which an AI agent intervenes on the parameters of a Markov Decision Process (MDP) belonging to a boundedly rational human agent. Our formulation of the human decision-maker as a planning agent allows us to attribute undesirable human policies (ones that do not lead to the goal) to their maladapted MDP parameters, such as an extremely low discount factor. Furthermore, we propose a class of tractable human models that captures fundamental behaviors in frictionful tasks. Introducing a notion of MDP equivalence specific to BMRL, we theoretically and empirically show that AI planning with our human models can lead to helpful policies on a wide range of more complex, ground-truth humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google