Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias

要約

モデル誘発分布シフト (MIDS) は、以前のモデルの出力がモデルの世代にわたって新しいモデルのトレーニング セットを汚染するために発生します。
これは、生成モデルの場合はモデルの崩壊として知られ、教師ありモデルの場合はパフォーマンス予測または不公平性フィードバック ループとして知られています。
モデルが分布の変化を引き起こすと、その間違い、偏見、不公平性もデータ エコシステムのグラウンド トゥルースにエンコードされます。
私たちは、複数の MIDS を何世代にもわたって追跡できるフレームワークを導入し、最初は偏りのないデータセットであっても、パフォーマンス、公平性、少数派のグループ表現の損失につながる可能性があることを発見しました。
これらの否定的な結果にもかかわらず、私たちは、アルゴリズム補償 (AR) と呼ばれるフレームワークを通じて歴史的差別に対する救済を提供する、データ エコシステムへの積極的かつ意図的な介入にモデルがどのように使用されるかを特定します。
確率的勾配降下法の代表的なトレーニング バッチを厳選して AR 介入をシミュレートし、他の MIDS の影響を受けるモデルとデータ エコシステムの不公平性を AR がどのように改善できるかを実証します。
私たちの取り組みは、ML システムが本質的に中立かつ客観的であるという考えによって可能になる不公平なフィードバック ループを特定し、軽減し、責任を負うという重要な一歩を踏み出すものです。

要約(オリジナル)

Model-induced distribution shifts (MIDS) occur as previous model outputs pollute new model training sets over generations of models. This is known as model collapse in the case of generative models, and performative prediction or unfairness feedback loops for supervised models. When a model induces a distribution shift, it also encodes its mistakes, biases, and unfairnesses into the ground truth of its data ecosystem. We introduce a framework that allows us to track multiple MIDS over many generations, finding that they can lead to loss in performance, fairness, and minoritized group representation, even in initially unbiased datasets. Despite these negative consequences, we identify how models might be used for positive, intentional, interventions in their data ecosystems, providing redress for historical discrimination through a framework called algorithmic reparation (AR). We simulate AR interventions by curating representative training batches for stochastic gradient descent to demonstrate how AR can improve upon the unfairnesses of models and data ecosystems subject to other MIDS. Our work takes an important step towards identifying, mitigating, and taking accountability for the unfair feedback loops enabled by the idea that ML systems are inherently neutral and objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google