Knowing the Distance: Understanding the Gap Between Synthetic and Real Data For Face Parsing

要約

コンピューター ビジョン アルゴリズムのトレーニングに合成データを使用することは、その費用対効果、スケーラビリティ、および正確なマルチモダリティ ラベルを提供する機能により、ますます一般的になっています。
最近の研究では、合成データのみでネットワークをトレーニングした場合に印象的な結果が示されていますが、一般的にフォトリアリズムの欠如に起因する、合成データと実際のデータの間にはパフォーマンスのギャップが残っています。
この研究の目的は、顔解析タスクのギャップをより詳細に調査することです。
ギャップには、ディストリビューション ギャップ、ラベル ギャップ、フォトリアリズム ギャップの 3 種類があります。
私たちの調査結果は、分布ギャップがパフォーマンス ギャップの最大の要因であり、ギャップの 50% 以上を占めていることを示しています。
このギャップに対処し、ラベルのギャップを説明することにより、合成データでトレーニングされたモデルが、同様の量の実際のデータでトレーニングされたモデルと同等の結果を達成することを示します。
これは、特に実際のデータが限られている場合や取得が困難な場合に、合成データが実際のデータの実行可能な代替手段であることを示唆しています。
私たちの研究は、合成データセットにおけるコンテンツの多様性の重要性を強調し、フォトリアリズムのギャップが合成データでトレーニングされたコンピューター ビジョン モデルのパフォーマンスに影響を与える最も重要な要因であるという考えに挑戦します。

要約(オリジナル)

The use of synthetic data for training computer vision algorithms has become increasingly popular due to its cost-effectiveness, scalability, and ability to provide accurate multi-modality labels. Although recent studies have demonstrated impressive results when training networks solely on synthetic data, there remains a performance gap between synthetic and real data that is commonly attributed to lack of photorealism. The aim of this study is to investigate the gap in greater detail for the face parsing task. We differentiate between three types of gaps: distribution gap, label gap, and photorealism gap. Our findings show that the distribution gap is the largest contributor to the performance gap, accounting for over 50% of the gap. By addressing this gap and accounting for the labels gap, we demonstrate that a model trained on synthetic data achieves comparable results to one trained on a similar amount of real data. This suggests that synthetic data is a viable alternative to real data, especially when real data is limited or difficult to obtain. Our study highlights the importance of content diversity in synthetic datasets and challenges the notion that the photorealism gap is the most critical factor affecting the performance of computer vision models trained on synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google