User Tampering in Reinforcement Learning Recommender Systems

要約

この論文では、新しい形式的手法を導入し、強化学習 (RL) ベースの推奨アルゴリズムに蔓延する独特の安全上の懸念、つまり「ユーザーの改ざん」を強調するための経験的証拠を提供します。
ユーザーの改ざんとは、RL ベースのレコメンダー システムが、長期的なユーザー エンゲージメントを最大化するためのポリシーの一環として、提案を通じてメディア ユーザーの意見を操作する可能性がある状況です。
私たちは、因果モデリングの形式的な手法を使用して、スケーラブルな RL ベースのレコメンデーション システムを実装するために文献で提案されている一般的なソリューションを批判的に分析しますが、これらの手法ではユーザーの改ざんを十分に防止できないことがわかりました。
さらに、報酬の改ざん問題に対する既存の緩和戦略を評価し、これらの方法では、レコメンデーションのコンテキスト内でのユーザーの改ざんという明確な現象に対処するには不十分であることを示します。
我々は、政治的コンテンツの普及に焦点を当てた RL ベースの推奨システムのシミュレーション研究によって、我々の発見をさらに強化します。
私たちの研究は、Q 学習アルゴリズムが、初期の推奨事項でシミュレートされたユーザーを二極化する機会を利用することを一貫して学習し、この誘導された二極化に合わせた後続の推奨事項でより一貫した成功を収めることを示しています。
私たちの調査結果は、より安全な RL ベースの推奨システムを開発する必要性を強調しており、そのような安全性を達成するには、最近の文献で見られたアプローチから設計を根本的に変える必要があることを示唆しています。

要約(オリジナル)

In this paper, we introduce new formal methods and provide empirical evidence to highlight a unique safety concern prevalent in reinforcement learning (RL)-based recommendation algorithms — ‘user tampering.’ User tampering is a situation where an RL-based recommender system may manipulate a media user’s opinions through its suggestions as part of a policy to maximize long-term user engagement. We use formal techniques from causal modeling to critically analyze prevailing solutions proposed in the literature for implementing scalable RL-based recommendation systems, and we observe that these methods do not adequately prevent user tampering. Moreover, we evaluate existing mitigation strategies for reward tampering issues, and show that these methods are insufficient in addressing the distinct phenomenon of user tampering within the context of recommendations. We further reinforce our findings with a simulation study of an RL-based recommendation system focused on the dissemination of political content. Our study shows that a Q-learning algorithm consistently learns to exploit its opportunities to polarize simulated users with its early recommendations in order to have more consistent success with subsequent recommendations that align with this induced polarization. Our findings emphasize the necessity for developing safer RL-based recommendation systems and suggest that achieving such safety would require a fundamental shift in the design away from the approaches we have seen in the recent literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google