Thermal-Infrared Remote Target Detection System for Maritime Rescue based on Data Augmentation with 3D Synthetic Data

要約

この論文では、深層学習とデータ拡張を使用した海上救助用の熱赤外線 (TIR) 遠隔目標検出システムを提案します。
私たちは、TIR カメラ (FLIR) を使用して、人間の救助状況を模倣した複数のシーンで構成される自己収集された TIR データセットを確立しました。
さらに、データセットの不足に対処し、モデルの堅牢性を向上させるために、データを補強する 3D ゲーム (ARMA3) からの合成データセットがさらに収集されます。
ただし、合成 TIR 画像と実際の TIR 画像の間には、大きなドメイン ギャップが存在します。
したがって、ギャップを克服するには、適切なドメイン適応アルゴリズムが不可欠です。
したがって、この問題に対処するために、生成モデルに基づいて、3D ゲームから現実へのターゲットと背景を分離した方法でドメイン適応アルゴリズムを提案します。
さらに、リモート TIR ターゲットは本質的に境界が不明瞭であるため、信号対雑音比 (SNR) を改善し、弱い注意を提供するために、先頭に固定重みカーネルを備えたセグメンテーション ネットワークが提案されています。
実験結果は、変換された合成 TIR データと実際の TIR データから構成される拡張データでトレーニングされたネットワークが、実際の TIR データのみでトレーニングされたネットワークよりも大幅に優れていることを示しています。
さらに、提案されたセグメンテーション モデルは、最先端のセグメンテーション手法のパフォーマンスを超えています。

要約(オリジナル)

This paper proposes a thermal-infrared (TIR) remote target detection system for maritime rescue using deep learning and data augmentation. We established a self-collected TIR dataset consisting of multiple scenes imitating human rescue situations using a TIR camera (FLIR). Additionally, to address dataset scarcity and improve model robustness, a synthetic dataset from a 3D game (ARMA3) to augment the data is further collected. However, a significant domain gap exists between synthetic TIR and real TIR images. Hence, a proper domain adaptation algorithm is essential to overcome the gap. Therefore, we suggest a domain adaptation algorithm in a target-background separated manner from 3D game-to-real, based on a generative model, to address this issue. Furthermore, a segmentation network with fixed-weight kernels at the head is proposed to improve the signal-to-noise ratio (SNR) and provide weak attention, as remote TIR targets inherently suffer from unclear boundaries. Experiment results reveal that the network trained on augmented data consisting of translated synthetic and real TIR data outperforms that trained on only real TIR data by a large margin. Furthermore, the proposed segmentation model surpasses the performance of state-of-the-art segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google