Data Feedback Loops: Model-driven Amplification of Dataset Biases

要約

インターネットから収集されたデータセットは、大規模な機械学習の成功に不可欠である。しかし、この成功は、モデルの出力が人間のアノテーションを監督するソースとして置き換え始めるため、将来のインターネット由来のデータセットの有用性を潜在的な危険にさらすことになる。 この研究では、まず、あるモデルとのインタラクションを履歴として記録し、将来的に学習データとしてかき集めるシステムを定式化する。そして、テスト時の偏り統計量（例えば、モデル予測の性別の偏り）の変化を追跡することで、時間経過に伴う安定性を分析する。我々は、偏りの増幅の程度が、モデルの出力が訓練分布からのサンプルのように振る舞うかどうかに密接に関連していることを発見した。この振る舞いを我々は特徴付け、一貫したキャリブレーションと定義する。画像分類、視覚的役割ラベル付け、言語生成の3つの条件付き予測シナリオにおける実験から、サンプリングに似た振る舞いをするモデルは、より較正され、より安定であることが実証された。この洞察に基づき、不安定なフィードバックシステムの較正と安定化を支援するための介入方法を提案する。 コードは https://github.com/rtaori/data_feedback で入手可能です。

要約(オリジナル)

Datasets scraped from the internet have been critical to the successes of large-scale machine learning. Yet, this very success puts the utility of future internet-derived datasets at potential risk, as model outputs begin to replace human annotations as a source of supervision. In this work, we first formalize a system where interactions with one model are recorded as history and scraped as training data in the future. We then analyze its stability over time by tracking changes to a test-time bias statistic (e.g. gender bias of model predictions). We find that the degree of bias amplification is closely linked to whether the model’s outputs behave like samples from the training distribution, a behavior which we characterize and define as consistent calibration. Experiments in three conditional prediction scenarios – image classification, visual role-labeling, and language generation – demonstrate that models that exhibit a sampling-like behavior are more calibrated and thus more stable. Based on this insight, we propose an intervention to help calibrate and stabilize unstable feedback systems. Code is available at https://github.com/rtaori/data_feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL