Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic and Structure Constraints

要約

タイトル：コントラスティブ学習と一貫した意味と構造の制約による非教師あり合成画像の改良

要約：
– DNNトレーニングには、コンピュータ生成の合成画像の現実感を確保することが重要です。
– 合成と実際に撮影されたデータセットの間には、異なる意味の分布が存在するため、合成と改良された画像の間に意味の不一致が生じる可能性があり、これが意味の歪みを引き起こします。
– 最近、コントラスティブ学習（CL）が成功裏に、関連するパッチを引き寄せ、相関のないパッチを押し離すために使用されています。
– 本研究では、合成画像と改良された画像の間の意味的および構造的な一貫性を利用し、CLを採用して意味の歪みを減らします。
– さらに、ハードネガティブマイニングを導入して、パフォーマンスをさらに向上させます。
– 弊社の手法の性能を、定量的および定性的な尺度を使用して、いくつかの他のベンチマーク手法と比較し、最先端のパフォーマンスを提供することを示します。

要約(オリジナル)

Ensuring the realism of computer-generated synthetic images is crucial to deep neural network (DNN) training. Due to different semantic distributions between synthetic and real-world captured datasets, there exists semantic mismatch between synthetic and refined images, which in turn results in the semantic distortion. Recently, contrastive learning (CL) has been successfully used to pull correlated patches together and push uncorrelated ones apart. In this work, we exploit semantic and structural consistency between synthetic and refined images and adopt CL to reduce the semantic distortion. Besides, we incorporate hard negative mining to improve the performance furthermore. We compare the performance of our method with several other benchmarking methods using qualitative and quantitative measures and show that our method offers the state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI