A Validity Perspective on Evaluating the Justified Use of Data-driven Decision-making Algorithms

要約

最近の研究では、複雑な実世界のタスクで予測ツールを使用することの適切性にますます疑問が投げかけられています。
これらのツールの価値の整合性を改善する方法を模索する研究は増え続けていますが、これらのツールを使用することの根本的な正当性に関する懸念に焦点を当てた研究は比較的少なくなっています。
この作業は、リスクの高いドメインでデータ駆動型アルゴリズムを構築するかどうか、および構築する方法に関する審議において、妥当性に関する考慮事項を中心に据えようとしています。
この目的のために、重要な概念を妥当性理論から予測アルゴリズムに変換します。
妥当性のレンズを適用して、予測アルゴリズムを使用する正当性を危うくする問題の定式化とデータの問題における一般的な課題を再検討し、これらの課題を妥当性に関する社会科学の言説に結び付けます。
私たちの学際的な博覧会は、これらの概念がアルゴリズムの意思決定のコンテキストにどのように適用されるかを明確にします。
これらの妥当性に関する考慮事項が、予測タスクの正当性とデータの適合性に関する考察を促進および文書化することを目的とした一連の高レベルの質問にどのように要約できるかを示します。

要約(オリジナル)

Recent research increasingly brings to question the appropriateness of using predictive tools in complex, real-world tasks. While a growing body of work has explored ways to improve value alignment in these tools, comparatively less work has centered concerns around the fundamental justifiability of using these tools. This work seeks to center validity considerations in deliberations around whether and how to build data-driven algorithms in high-stakes domains. Toward this end, we translate key concepts from validity theory to predictive algorithms. We apply the lens of validity to re-examine common challenges in problem formulation and data issues that jeopardize the justifiability of using predictive algorithms and connect these challenges to the social science discourse around validity. Our interdisciplinary exposition clarifies how these concepts apply to algorithmic decision making contexts. We demonstrate how these validity considerations could distill into a series of high-level questions intended to promote and document reflections on the legitimacy of the predictive task and the suitability of the data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google