FeedbackLogs: Recording and Incorporating Stakeholder Feedback into Machine Learning Pipelines

要約

機械学習 (ML) パイプラインはますます多くの関係者に影響を与えますが、関係者からの入力がどのように記録され、組み込まれるかについてはほとんど研究されていません。
私たちは、複数の関係者の入力を追跡するために、ML パイプラインの既存のドキュメントに追加する FeedbackLogs を提案します。
各ログには、フィードバック収集プロセス、フィードバック自体、およびフィードバックが ML パイプラインを更新するためにどのように使用されるかに関する重要な詳細が記録されます。
このペーパーでは、フィードバックログを収集するプロセスを紹介し、形式化します。
また、FeedbackLogs をアルゴリズム監査の証拠として、また利害関係者のフィードバックに基づいて更新を記録するツールとして使用できる具体的な使用例も提供します。

要約(オリジナル)

Even though machine learning (ML) pipelines affect an increasing array of stakeholders, there is little work on how input from stakeholders is recorded and incorporated. We propose FeedbackLogs, addenda to existing documentation of ML pipelines, to track the input of multiple stakeholders. Each log records important details about the feedback collection process, the feedback itself, and how the feedback is used to update the ML pipeline. In this paper, we introduce and formalise a process for collecting a FeedbackLog. We also provide concrete use cases where FeedbackLogs can be employed as evidence for algorithmic auditing and as a tool to record updates based on stakeholder feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google