Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints

要約

タイトル：教師なしの対比学習と一貫した意味構造制約による合成画像の改良

要約：

– コンピュータ生成の合成画像が現実的であることは、深層ニューラルネットワーク（DNN）のトレーニングに重要です。
– 合成された画像と実世界でキャプチャされたデータセットの間には意味的な不一致があり、結果として意味的な歪みが生じます。
– 対比学習（CL）は、相関するパッチを引き寄せ、相関のないものを遠ざけるために成功裏に使用されています。
– 本研究では、合成と改良された画像間の意味的および構造的一貫性を利用し、 CLを採用して意味的な歪みを減らすことを目的としています。
– さらに、ハードネガティブマイニングを導入してパフォーマンスをさらに向上させました。
– 質的および量的な尺度を使用して、我々の方法のパフォーマンスをいくつかの他のベンチマーク法と比較し、我々の方法が最先端のパフォーマンスを提供することを示しました。

要約(オリジナル)

Ensuring the realism of computer-generated synthetic images is crucial to deep neural network (DNN) training. Due to different semantic distributions between synthetic and real-world captured datasets, there exists semantic mismatch between synthetic and refined images, which in turn results in the semantic distortion. Recently, contrastive learning (CL) has been successfully used to pull correlated patches together and push uncorrelated ones apart. In this work, we exploit semantic and structural consistency between synthetic and refined images and adopt CL to reduce the semantic distortion. Besides, we incorporate hard negative mining to improve the performance furthermore. We compare the performance of our method with several other benchmarking methods using qualitative and quantitative measures and show that our method offers the state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI