Toward Operationalizing Pipeline-aware ML Fairness: A Research Agenda for Developing Practical Guidelines and Tools

要約

アルゴリズムの公平性は研究の盛んな分野ですが、実際には、バイアスの問題の軽減は、最適化ステップ、後処理モデルの出力中に公平性の制約を強制するか、トレーニング データを操作することによって、任意に選択された公平性の指標を強制することになることがよくあります。
。
最近の取り組みでは、ML コミュニティに対して、ML パイプラインを通じて行われた多くの設計上の選択を体系的に調査し、問題の症状ではなく根本原因を対象とした介入を特定することにより、公平性の問題に取り組むためのより総合的なアプローチをとることが求められています。
私たちは、このパイプラインベースのアプローチが、現場でアルゴリズムの不公平性と闘うのに最も適しているという確信を共有していますが、現時点では、このアプローチを実際に \emph{運用可能化} する方法はほとんどないと考えています。
教育者および実践者としての経験に基づいて、明確なガイドラインとツールキットがなければ、専門的な ML の知識を持つ個人であっても、さまざまな設計の選択がモデルの動作にどのように影響するかを仮説するのは困難であることを最初に示します。
次に、公平な ML の文献を参照して、パイプラインを意識したアプローチの運用化に向けたこれまでの進捗状況を理解します。ML パイプラインを通じてさまざまな不公平の原因を検出、測定、軽減しようとする以前の作業を体系的に収集して整理します。
私たちは、これまでの寄稿を広範に分類して、コミュニティの研究課題を概略的に示します。
この研究が、アルゴリズムの公平性に対するパイプライン指向のアプローチの探索、設計、テストに興味のある ML 研究者、実践者、学生にとって、より包括的なリソース セットへの足がかりとなることを願っています。

要約(オリジナル)

While algorithmic fairness is a thriving area of research, in practice, mitigating issues of bias often gets reduced to enforcing an arbitrarily chosen fairness metric, either by enforcing fairness constraints during the optimization step, post-processing model outputs, or by manipulating the training data. Recent work has called on the ML community to take a more holistic approach to tackle fairness issues by systematically investigating the many design choices made through the ML pipeline, and identifying interventions that target the issue’s root cause, as opposed to its symptoms. While we share the conviction that this pipeline-based approach is the most appropriate for combating algorithmic unfairness on the ground, we believe there are currently very few methods of \emph{operationalizing} this approach in practice. Drawing on our experience as educators and practitioners, we first demonstrate that without clear guidelines and toolkits, even individuals with specialized ML knowledge find it challenging to hypothesize how various design choices influence model behavior. We then consult the fair-ML literature to understand the progress to date toward operationalizing the pipeline-aware approach: we systematically collect and organize the prior work that attempts to detect, measure, and mitigate various sources of unfairness through the ML pipeline. We utilize this extensive categorization of previous contributions to sketch a research agenda for the community. We hope this work serves as the stepping stone toward a more comprehensive set of resources for ML researchers, practitioners, and students interested in exploring, designing, and testing pipeline-oriented approaches to algorithmic fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google