Automating Data Annotation under Strategic Human Agents: Risks and Potential Solutions

要約

機械学習 (ML) モデルは、人間に関する重要な決定を下すために社会領域でますます使用されており、多くの場合、データの分布を再構築する力を持っています。
人間は戦略エージェントとして、学習システムに応じて自らの行動を継続的に適応させます。
人口が動的に変化するため、高いパフォーマンスを確保するために ML システムを頻繁に更新する必要がある場合があります。
ただし、人間が注釈を付けた高品質のサンプルを取得することは非常に困難であり、ソーシャル ドメインでは実行不可能ですらあります。
この問題に対処する一般的な方法は、モデル自体を使用してラベルのないデータ サンプルに注釈を付けることです。
この論文では、ML モデルに人間の戦略的対応が組み込まれている場合に、モデルアノテーション付きサンプルを使用して ML モデルを再トレーニングした場合の長期的な影響を調査します。
まず戦略エージェントとモデルの間の相互作用を形式化し、次にそのような動的な相互作用の下でそれらがどのように進化するかを分析します。
モデルが再トレーニングされるにつれて、エージェントが肯定的な決定を受け取る可能性が高まる一方、肯定的なラベルを持つエージェントの割合は時間の経過とともに減少する可能性があることがわかりました。
したがって、ダイナミクスを安定させるための洗練された再トレーニングプロセスを提案します。
最後に、アルゴリズムの公平性がこれらの再訓練プロセスによってどのような影響を受けるかを調査し、すべてのラウンドで共通の公平性制約を強制することは、長期的には不利な立場にあるグループに利益をもたらさない可能性があることを発見しました。
(半)合成データと実際のデータを用いた実験により、理論的発見が検証されます。

要約(オリジナル)

As machine learning (ML) models are increasingly used in social domains to make consequential decisions about humans, they often have the power to reshape data distributions. Humans, as strategic agents, continuously adapt their behaviors in response to the learning system. As populations change dynamically, ML systems may need frequent updates to ensure high performance. However, acquiring high-quality human-annotated samples can be highly challenging and even infeasible in social domains. A common practice to address this issue is using the model itself to annotate unlabeled data samples. This paper investigates the long-term impacts when ML models are retrained with model-annotated samples when they incorporate human strategic responses. We first formalize the interactions between strategic agents and the model and then analyze how they evolve under such dynamic interactions. We find that agents are increasingly likely to receive positive decisions as the model gets retrained, whereas the proportion of agents with positive labels may decrease over time. We thus propose a refined retraining process to stabilize the dynamics. Last, we examine how algorithmic fairness can be affected by these retraining processes and find that enforcing common fairness constraints at every round may not benefit the disadvantaged group in the long run. Experiments on (semi-)synthetic and real data validate the theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google