Understanding Practices, Challenges, and Opportunities for User-Engaged Algorithm Auditing in Industry Practice

要約

近年、研究者と実践者の両方の間で、アルゴリズム監査に対するユーザー関与型アプローチへの関心が高まっています。これは、アルゴリズム システムで問題のある動作を検出するためにユーザーを直接関与させます。
しかし、業界関係者によるユーザー参加型の監査に関する現在の慣行や課題についてはほとんど知られていません。また、そのようなアプローチを実際に活用する機会がどのようなものであるかについても、私たちはほとんど知りません。
調査するために、一連のインタビューと反復的な共同設計活動を、ユーザー関与型の監査アプローチを仕事に採用している実践者に実施しました。
私たちの調査結果は、ユーザー監査人を適切に募集してインセンティブを与え、ユーザー監査を足場にし、ユーザーが関与する監査レポートから実用的な洞察を導き出す際に、実践者が直面するいくつかの課題を明らかにしています。
さらに、実践者は、ユーザー関与の監査に対する組織的な障害を共有し、実践者とユーザー監査者の間の複雑な関係を浮き彫りにしました。
これらの調査結果に基づいて、業界の慣行におけるユーザー関与監査の可能性を実現する (およびリスクを軽減する) のに役立つ将来の HCI 研究の機会について説明します。

要約(オリジナル)

Recent years have seen growing interest among both researchers and practitioners in user-engaged approaches to algorithm auditing, which directly engage users in detecting problematic behaviors in algorithmic systems. However, we know little about industry practitioners’ current practices and challenges around user-engaged auditing, nor what opportunities exist for them to better leverage such approaches in practice. To investigate, we conducted a series of interviews and iterative co-design activities with practitioners who employ user-engaged auditing approaches in their work. Our findings reveal several challenges practitioners face in appropriately recruiting and incentivizing user auditors, scaffolding user audits, and deriving actionable insights from user-engaged audit reports. Furthermore, practitioners shared organizational obstacles to user-engaged auditing, surfacing a complex relationship between practitioners and user auditors. Based on these findings, we discuss opportunities for future HCI research to help realize the potential (and the mitigate risks) of user-engaged auditing in industry practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google