Thermal Infrared Image Inpainting via Edge-Aware Guidance

要約

画像の修復は、ディープ ラーニングによって根本的な進歩を遂げました。
ただし、ほとんどすべての既存の修復方法は自然画像の処理を目的としていますが、広範囲に適用される熱赤外線 (TIR) 画像を対象とするものはほとんどありません。
従来の修復方法を TIR 画像に適用すると、通常、歪んだコンテンツやぼやけたコンテンツが生成されます。
この論文では、TIR画像の欠落領域を再構築することを目的とした、熱赤外線画像修復という新しいタスクを提案します。
重要なのは、深層学習ベースの新しいモデル TIR-Fill を提案することです。
エッジジェネレーターを採用して、壊れたTIR画像の気の利いたエッジを完成させます。
完成したエッジは正規化の重みとバイアスに投影され、モデルのエッジ認識が強化されます。
さらに、ゲーテッド畳み込みに基づく改良ネットワークを使用して、TIR 画像の一貫性を向上させます。
実験は、私たちの方法がFLIR熱データセットに対する最先端の画像修復アプローチよりも優れていることを示しています。

要約(オリジナル)

Image inpainting has achieved fundamental advances with deep learning. However, almost all existing inpainting methods aim to process natural images, while few target Thermal Infrared (TIR) images, which have widespread applications. When applied to TIR images, conventional inpainting methods usually generate distorted or blurry content. In this paper, we propose a novel task — Thermal Infrared Image Inpainting, which aims to reconstruct missing regions of TIR images. Crucially, we propose a novel deep-learning-based model TIR-Fill. We adopt the edge generator to complete the canny edges of broken TIR images. The completed edges are projected to the normalization weights and biases to enhance edge awareness of the model. In addition, a refinement network based on gated convolution is employed to improve TIR image consistency. The experiments demonstrate that our method outperforms state-of-the-art image inpainting approaches on FLIR thermal dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google