Data Generation Scheme for Thermal Modality with Edge-Guided Adversarial Conditional Diffusion Model

要約

困難な低光量および悪天候条件において、可視視覚アルゴリズムが頻繁に直面する苦戦とは対照的に、熱視覚アルゴリズム、特に物体検出は顕著な可能性を示しています。
それにもかかわらず、深層学習モデルによって駆動される熱視覚アルゴリズムの有効性は、利用可能なトレーニング データ サンプルの不足によって依然として制限されています。
この目的のために、この論文では、エッジガイド条件付き拡散モデルと呼ばれる新しいアプローチを紹介します。
このフレームワークは、可視画像から抽出されたエッジ情報を活用して、ピクセル レベルで細心の注意を払って位置合わせされた擬似熱画像を生成することを目的としています。
可視領域からのコンテキスト キューとしてエッジを利用することにより、拡散モデルは、生成された画像内のオブジェクトの描写を細心の注意を払って制御します。
熱領域に現れるべきではない可視固有のエッジ情報の影響を軽減するために、可視モダリティと熱モダリティを区別することによって、生成された画像からエッジ情報をフィルタリングして除去する2段階モダリティ敵対的トレーニング戦略が提案されています。
LLVIP に関する広範な実験により、画像生成品質の点で ECDM が既存の最先端のアプローチよりも優れていることが実証されました。

要約(オリジナル)

In challenging low light and adverse weather conditions,thermal vision algorithms,especially object detection,have exhibited remarkable potential,contrasting with the frequent struggles encountered by visible vision algorithms. Nevertheless,the efficacy of thermal vision algorithms driven by deep learning models remains constrained by the paucity of available training data samples. To this end,this paper introduces a novel approach termed the edge guided conditional diffusion model. This framework aims to produce meticulously aligned pseudo thermal images at the pixel level,leveraging edge information extracted from visible images. By utilizing edges as contextual cues from the visible domain,the diffusion model achieves meticulous control over the delineation of objects within the generated images. To alleviate the impacts of those visible-specific edge information that should not appear in the thermal domain,a two-stage modality adversarial training strategy is proposed to filter them out from the generated images by differentiating the visible and thermal modality. Extensive experiments on LLVIP demonstrate ECDM s superiority over existing state-of-the-art approaches in terms of image generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google