From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

要約

視覚認識モデルは、特定の条件 $B$ (\例: 屋内) が特定のクラス $Y$ (\例: 大型犬) で過剰に表される、偏ったトレーニング セットによって引き起こされる偽の相関を学習する傾向があります。
既製の大規模生成モデルからの合成データは、実際のデータセットで過小評価されているサブグループを増強することで、この問題を軽減する有望な方向性を提供します。
ただし、実データと合成データの混合分布を使用すると、合成データと実データの間の分布の違いによる別のバイアス源 (例: 合成アーティファクト) が導入されます。
これから示すように、合成データを使用して $B$ に対するモデルの偏りを解決するという以前の研究のアプローチでは、ペア $(B, G)$ に対するモデルの偏りは修正されません。$G$ はサンプルが本物か合成かを示します。
。
したがって、モデルは単純に $(B, G)$ のペア (\例、合成屋内) に基づいて信号を学習し、$Y$ (\例、大型犬) についての予測を行うことができます。
この問題に対処するために、私たちは From Fake to Real (FFR) と呼ぶ、シンプルで実装が簡単な 2 ステップのトレーニング パイプラインを提案します。
FFR の最初のステップでは、バランスの取れた合成データでモデルを事前トレーニングし、サブグループ全体のロバストな表現を学習します。
2 番目のステップでは、FFR は ERM または一般的な損失ベースのバイアス軽減方法を使用して、実際のデータに基づいてモデルを微調整します。
実際のデータと合成データを個別にトレーニングすることにより、FFR はモデルを実際のデータと合成データの間の統計的な差異にさらさず、したがって $(B, G)$ のペアに対するバイアスの問題を回避します。
私たちの実験では、FFR が 3 つのデータセットにわたって、最先端のものよりも最悪のグループ精度を最大 20\% 改善することが示されました。
利用可能なコード: \url{https://github.com/mqraitem/From-Fake-to-Real}

要約(オリジナル)

Visual recognition models are prone to learning spurious correlations induced by a biased training set where certain conditions $B$ (\eg, Indoors) are over-represented in certain classes $Y$ (\eg, Big Dogs). Synthetic data from off-the-shelf large-scale generative models offers a promising direction to mitigate this issue by augmenting underrepresented subgroups in the real dataset. However, by using a mixed distribution of real and synthetic data, we introduce another source of bias due to distributional differences between synthetic and real data (\eg synthetic artifacts). As we will show, prior work’s approach for using synthetic data to resolve the model’s bias toward $B$ do not correct the model’s bias toward the pair $(B, G)$, where $G$ denotes whether the sample is real or synthetic. Thus, the model could simply learn signals based on the pair $(B, G)$ (\eg, Synthetic Indoors) to make predictions about $Y$ (\eg, Big Dogs). To address this issue, we propose a simple, easy-to-implement, two-step training pipeline that we call From Fake to Real (FFR). The first step of FFR pre-trains a model on balanced synthetic data to learn robust representations across subgroups. In the second step, FFR fine-tunes the model on real data using ERM or common loss-based bias mitigation methods. By training on real and synthetic data separately, FFR does not expose the model to the statistical differences between real and synthetic data and thus avoids the issue of bias toward the pair $(B, G)$. Our experiments show that FFR improves worst group accuracy over the state-of-the-art by up to 20\% over three datasets. Code available: \url{https://github.com/mqraitem/From-Fake-to-Real}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google