Feature Corrective Transfer Learning: End-to-End Solutions to Object Detection in Non-Ideal Visual Conditions

要約

物体検出の分野における重大な課題は、雨、霧、低照度、または ISP 処理のない生のベイヤー画像など、理想的ではない画像条件下でのシステムのパフォーマンスにあります。
私たちの研究では、「特徴補正転移学習」を導入しています。これは、転移学習とオーダーメイドの損失関数を活用して、理想的でない画像を対応する RGB に変換することなく、これらの困難なシナリオでのオブジェクトのエンドツーエンドの検出を容易にする新しいアプローチです。
。
私たちの方法論では、最初に初期の RGB 画像データセットで包括的なモデルをトレーニングします。
その後、非理想的な画像は、その特徴マップを最初の理想的な RGB モデルの特徴マップと比較することによって処理されます。
この比較では、類似性を定量化し、検出損失に統合するように設計された新しい損失関数である拡張領域新規構造不一致損失 (EANSDL) を使用します。
このアプローチは、直接的な特徴マップ補正を通じてさまざまな条件にわたってオブジェクト検出を実行するモデルの機能を改良し、特徴補正転移学習の本質をカプセル化します。
KITTI データセットのバリアントに関する実験検証では、平均平均精度 (mAP) が大幅に向上し、ベースライン モデルと比較して非理想的な条件下での検出が 3.8 ～ 8.1% 相対的に向上し、パフォーマンスの差が 1.3 以内に小さくなったことが実証されました。
標準の Faster RCNN アルゴリズムによって理想的な条件下で達成される mAP@[0.5:0.95] の %。

要約(オリジナル)

A significant challenge in the field of object detection lies in the system’s performance under non-ideal imaging conditions, such as rain, fog, low illumination, or raw Bayer images that lack ISP processing. Our study introduces ‘Feature Corrective Transfer Learning’, a novel approach that leverages transfer learning and a bespoke loss function to facilitate the end-to-end detection of objects in these challenging scenarios without the need to convert non-ideal images into their RGB counterparts. In our methodology, we initially train a comprehensive model on a pristine RGB image dataset. Subsequently, non-ideal images are processed by comparing their feature maps against those from the initial ideal RGB model. This comparison employs the Extended Area Novel Structural Discrepancy Loss (EANSDL), a novel loss function designed to quantify similarities and integrate them into the detection loss. This approach refines the model’s ability to perform object detection across varying conditions through direct feature map correction, encapsulating the essence of Feature Corrective Transfer Learning. Experimental validation on variants of the KITTI dataset demonstrates a significant improvement in mean Average Precision (mAP), resulting in a 3.8-8.1% relative enhancement in detection under non-ideal conditions compared to the baseline model, and a less marginal performance difference within 1.3% of the mAP@[0.5:0.95] achieved under ideal conditions by the standard Faster RCNN algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google