The Double-Edged Sword of Behavioral Responses in Strategic Classification: Theory and User Studies

要約

人間がアルゴリズムによる意思決定システムの影響を受けると、それに応じて自分の行動を戦略的に調整することができます（システムを「ゲーム」する）。
戦略的分類に関する一連の文献では、ゲーム理論モデリングを使用してそのようなゲームを理解し、軽減することが増えていますが、これらの既存の研究では、完全に合理的なエージェントの標準モデルが考慮されています。
この論文では、アルゴリズムに対する人間の反応における行動バイアスを考慮した戦略的分類モデルを提案します。
私たちは、分類器 (特にその特徴の重み) の誤った認識が、バイアスのあるエージェントの応答と合理的なエージェントの応答の間にさまざまな種類の矛盾を引き起こす可能性があることを示し、行動エージェントがさまざまな特徴に過剰または過小投資する時期を特定します。
また、行動バイアスのある戦略エージェントは、完全に合理的な戦略エージェントと比較して、企業に利益をもたらしたり、(おそらく予想外に) 損害を与えたりする可能性があることも示します。
私たちは分析結果をユーザー調査で補完し、アルゴリズムに対する人間の反応における行動の偏りに関する私たちの仮説を裏付けています。
まとめると、私たちの調査結果は、AI システムを設計し、そのループに関与する戦略的人間にその説明を提供する際に、人間の (認知) バイアスを考慮する必要性を浮き彫りにしています。

要約(オリジナル)

When humans are subject to an algorithmic decision system, they can strategically adjust their behavior accordingly (“game” the system). While a growing line of literature on strategic classification has used game-theoretic modeling to understand and mitigate such gaming, these existing works consider standard models of fully rational agents. In this paper, we propose a strategic classification model that considers behavioral biases in human responses to algorithms. We show how misperceptions of a classifier (specifically, of its feature weights) can lead to different types of discrepancies between biased and rational agents’ responses, and identify when behavioral agents over- or under-invest in different features. We also show that strategic agents with behavioral biases can benefit or (perhaps, unexpectedly) harm the firm compared to fully rational strategic agents. We complement our analytical results with user studies, which support our hypothesis of behavioral biases in human responses to the algorithm. Together, our findings highlight the need to account for human (cognitive) biases when designing AI systems, and providing explanations of them, to strategic human in the loop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google