User Strategization and Trustworthy Algorithms

要約

人間向けのアルゴリズムの多くは、推奨システムや採用決定ツールを強化するものを含め、ユーザーから提供されたデータに基づいてトレーニングされています。
これらのアルゴリズムの開発者は一般に、データ生成プロセスが外生的であるという前提を採用しています。つまり、特定のプロンプト (推奨や採用提案など) に対してユーザーがどのように反応するかは、プロンプトに依存し、それを生成したアルゴリズムには依存しません。
たとえば、人の行動がグラウンドトゥルース分布に従うという仮定は、外生性の仮定です。
実際には、アルゴリズムが人間と対話する場合、ユーザーは戦略的である可能性があるため、この仮定が成り立つことはほとんどありません。
たとえば、最近の研究では、TikTokがフィードのキュレーションに利用していることを知った後にTikTokユーザーがスクロール動作を変えたり、UberドライバーがUberのアルゴリズムの変更に応じて乗車の受け付けやキャンセルの方法を変えたりしていることが記録されている。
私たちの研究では、ユーザーとそのデータ駆動型プラットフォームの間のインタラクションを反復的な 2 プレイヤー ゲームとしてモデル化することで、この戦略的行動の影響を研究しています。
まず、ユーザー戦略が短期的には実際にプラットフォームに役立つことがわかりました。
次に、それがプラットフォームのデータを破損し、最終的には事実に反する決定を下す能力を損なうことを示します。
私たちはこの現象をユーザーの信頼と結び付け、信頼できるアルゴリズムの設計が正確な推定と密接に関係できることを示します。
最後に、潜在的な介入を促す信頼性の形式化を提供します。

要約(オリジナル)

Many human-facing algorithms — including those that power recommender systems or hiring decision tools — are trained on data provided by their users. The developers of these algorithms commonly adopt the assumption that the data generating process is exogenous: that is, how a user reacts to a given prompt (e.g., a recommendation or hiring suggestion) depends on the prompt and not on the algorithm that generated it. For example, the assumption that a person’s behavior follows a ground-truth distribution is an exogeneity assumption. In practice, when algorithms interact with humans, this assumption rarely holds because users can be strategic. Recent studies document, for example, TikTok users changing their scrolling behavior after learning that TikTok uses it to curate their feed, and Uber drivers changing how they accept and cancel rides in response to changes in Uber’s algorithm. Our work studies the implications of this strategic behavior by modeling the interactions between a user and their data-driven platform as a repeated, two-player game. We first find that user strategization can actually help platforms in the short term. We then show that it corrupts platforms’ data and ultimately hurts their ability to make counterfactual decisions. We connect this phenomenon to user trust, and show that designing trustworthy algorithms can go hand in hand with accurate estimation. Finally, we provide a formalization of trustworthiness that inspires potential interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google