TPSeNCE: Towards Artifact-Free Realistic Rain Generation for Deraining and Object Detection in Rain

要約

雨生成アルゴリズムには、雨天時の排水方法の一般化とシーンの理解が向上する可能性があります。
しかし、実際には、適切な制約がないためにアーチファクトや歪みが生じ、生成される雨の量を制御するのに苦労します。
この論文では、現実的な雨の画像を生成するためのペアのない画像間の変換フレームワークを提案します。
まず、三角確率類似性 (TPS) 制約を導入して、生成された画像を弁別多様体で晴れた画像と雨の画像に導くことで、雨の生成時のアーティファクトと歪みを最小限に抑えます。
ネガティブサンプルを無差別にアンカーから遠ざける従来の対照学習アプローチとは異なり、私たちは意味論的ノイズ対比推定（SeNCE）戦略を提案し、晴れた画像と雨の画像の間の意味的類似性と特徴に基づいてネガティブサンプルの押す力を再評価します。
アンカーサンプルとネガティブサンプル間の類似性。
実験では、アーティファクトや歪みを最小限に抑えたリアルな雨の生成が実証されており、雨の中での画像ディレインと物体検出に利益をもたらします。
さらに、この方法は現実的な雪と夜の画像を生成するために使用でき、より幅広い応用可能性の可能性を強調しています。
コードは https://github.com/ShenZheng2000/TPSeNCE で入手できます。

要約(オリジナル)

Rain generation algorithms have the potential to improve the generalization of deraining methods and scene understanding in rainy conditions. However, in practice, they produce artifacts and distortions and struggle to control the amount of rain generated due to a lack of proper constraints. In this paper, we propose an unpaired image-to-image translation framework for generating realistic rainy images. We first introduce a Triangular Probability Similarity (TPS) constraint to guide the generated images toward clear and rainy images in the discriminator manifold, thereby minimizing artifacts and distortions during rain generation. Unlike conventional contrastive learning approaches, which indiscriminately push negative samples away from the anchors, we propose a Semantic Noise Contrastive Estimation (SeNCE) strategy and reassess the pushing force of negative samples based on the semantic similarity between the clear and the rainy images and the feature similarity between the anchor and the negative samples. Experiments demonstrate realistic rain generation with minimal artifacts and distortions, which benefits image deraining and object detection in rain. Furthermore, the method can be used to generate realistic snowy and night images, underscoring its potential for broader applicability. Code is available at https://github.com/ShenZheng2000/TPSeNCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google