Is Synthetic Data all We Need? Benchmarking the Robustness of Models Trained with Synthetic Images

要約

機械学習アプローチの開発における長年の課題は、高品質のラベル付きデータが不足していることです。
最近、大規模な事前トレーニング済み拡散モデルを使用して生成された、純粋な合成データでトレーニングされたモデル (ここでは合成クローンと呼ばれます) が、このアノテーションのボトルネックを克服する有望な結果を示しています。
これらの合成クローン モデルが進歩するにつれて、困難な現実世界の設定に導入される可能性が高くなりますが、その適合性は依然として十分に研究されていません。
私たちの研究では、さまざまな堅牢性の尺度にわたって、3 つのクラスの合成クローン モデル (教師あり、自己教師あり、マルチモーダル モデル) の最初のベンチマークを提供することで、このギャップに対処しています。
我々は、既存の自己教師ありマルチモーダル合成クローンが、形状バイアス、背景バイアス、キャリブレーションなどの一連の堅牢性指標に関して、最先端の実画像ベースラインと同等またはそれを上回るパフォーマンスを示すことを示します。
合成クローンは、実際のデータでトレーニングされたモデルよりも、敵対的なノイズや現実世界のノイズの影響をはるかに受けやすいことがわかりました。
これに対処するために、実際のデータと合成データの両方を組み合わせることで堅牢性がさらに向上し、合成画像の生成に使用されるプロンプトの選択が合成クローンの堅牢性に重要な役割を果たすことがわかりました。

要約(オリジナル)

A long-standing challenge in developing machine learning approaches has been the lack of high-quality labeled data. Recently, models trained with purely synthetic data, here termed synthetic clones, generated using large-scale pre-trained diffusion models have shown promising results in overcoming this annotation bottleneck. As these synthetic clone models progress, they are likely to be deployed in challenging real-world settings, yet their suitability remains understudied. Our work addresses this gap by providing the first benchmark for three classes of synthetic clone models, namely supervised, self-supervised, and multi-modal ones, across a range of robustness measures. We show that existing synthetic self-supervised and multi-modal clones are comparable to or outperform state-of-the-art real-image baselines for a range of robustness metrics – shape bias, background bias, calibration, etc. However, we also find that synthetic clones are much more susceptible to adversarial and real-world noise than models trained with real data. To address this, we find that combining both real and synthetic data further increases the robustness, and that the choice of prompt used for generating synthetic images plays an important part in the robustness of synthetic clones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google