How to Augment for Atmospheric Turbulence Effects on Thermal Adapted Object Detection Models?

要約

大気の乱気流は、物体検出モデルのパフォーマンスに大きな課題をもたらします。
乱流は、空気の屈折率の変化により光線が曲がったり散乱したりすることで、画像に歪み、ぼやけ、ノイズを引き起こします。
これにより、光学システムが受け取る電磁放射線に非剛体的な幾何学的歪みと時間的変動が生じます。
この論文では、大気乱気流下での熱適応型および深層学習ベースの物体検出モデルの精度と堅牢性を向上させる乱気流画像拡張技術の有効性を検討します。
3 つの異なる近似ベースの乱流シミュレーター (幾何学的、ゼルニケベース、および P2S) を使用して、乱流トレーニングおよびテスト データセットを生成します。
3 つの最先端の深層学習ベースの物体検出モデル (RTMDet-x、DINO-4scale、YOLOv8-x) のパフォーマンスが、トレーニング中の乱流増大の有無にかかわらず、これらの乱流データセットに採用されています。
この結果は、モデルのトレーニング中に乱流固有の拡張を利用すると、検出精度と歪んだ乱流画像に対する堅牢性を大幅に向上できることを示しています。
乱流の増大により、乱流のないテスト セットでもパフォーマンスが向上します。

要約(オリジナル)

Atmospheric turbulence poses a significant challenge to the performance of object detection models. Turbulence causes distortions, blurring, and noise in images by bending and scattering light rays due to variations in the refractive index of air. This results in non-rigid geometric distortions and temporal fluctuations in the electromagnetic radiation received by optical systems. This paper explores the effectiveness of turbulence image augmentation techniques in improving the accuracy and robustness of thermal-adapted and deep learning-based object detection models under atmospheric turbulence. Three distinct approximation-based turbulence simulators (geometric, Zernike-based, and P2S) are employed to generate turbulent training and test datasets. The performance of three state-of-the-art deep learning-based object detection models: RTMDet-x, DINO-4scale, and YOLOv8-x, is employed on these turbulent datasets with and without turbulence augmentation during training. The results demonstrate that utilizing turbulence-specific augmentations during model training can significantly improve detection accuracy and robustness against distorted turbulent images. Turbulence augmentation enhances performance even for a non-turbulent test set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google