CF-YOLO: Cross Fusion YOLO for Object Detection in Adverse Weather with a High-quality Real Snow Dataset

要約

雪は、物体検出（OD）にとって最も厳しい悪天候の1つです。
現在、最先端の検出器をトレーニングするための雪に覆われたODデータセットが不足しているだけでなく、これらの検出器は雪の中での検出に有益な潜在情報を学習するのが困難です。
上記の2つの問題を軽減するために、最初にRSODという名前の実際の雪に覆われたODデータセットを確立します。
さらに、$ Peak \ Act $と呼ばれる独特の活性化関数を使用して教師なしトレーニング戦略を開発し、各オブジェクトに対する雪の影響を定量的に評価します。
ピークアクトは、RSODの画像を4つの難易度レベルに格付けするのに役立ちます。
私たちの知る限り、RSODは、最初の定量的に評価され、等級付けされた雪に覆われたODデータセットです。
次に、YOLOv5s（CF-YOLOと呼ぶ）に基づく軽量ODネットワークを構築するための新しいCross Fusion（CF）ブロックを提案します。
CFは、プラグアンドプレイの機能集約モジュールであり、FeaturePyramidNetworkとPathAggregationNetworkの利点をよりシンプルで柔軟な形式で統合します。
RSODとCFの両方が、CF-YOLOをリードして、実世界の雪におけるODの最適化機能を備えています。
つまり、CF-YOLOは、あいまいさ、歪み、積雪などの好ましくない検出の問題を処理できます。
実験は、私たちのCF-YOLOがSOTAと比較してRSODでより良い検出結果を達成することを示しています。
コードとデータセットはhttps://github.com/qqding77/CF-YOLO-and-RSODで入手できます。

要約(オリジナル)

Snow is one of the toughest adverse weather conditions for object detection (OD). Currently, not only there is a lack of snowy OD datasets to train cutting-edge detectors, but also these detectors have difficulties learning latent information beneficial for detection in snow. To alleviate the two above problems, we first establish a real-world snowy OD dataset, named RSOD. Besides, we develop an unsupervised training strategy with a distinctive activation function, called $Peak \ Act$, to quantitatively evaluate the effect of snow on each object. Peak Act helps grading the images in RSOD into four-difficulty levels. To our knowledge, RSOD is the first quantitatively evaluated and graded snowy OD dataset. Then, we propose a novel Cross Fusion (CF) block to construct a lightweight OD network based on YOLOv5s (call CF-YOLO). CF is a plug-and-play feature aggregation module, which integrates the advantages of Feature Pyramid Network and Path Aggregation Network in a simpler yet more flexible form. Both RSOD and CF lead our CF-YOLO to possess an optimization ability for OD in real-world snow. That is, CF-YOLO can handle unfavorable detection problems of vagueness, distortion and covering of snow. Experiments show that our CF-YOLO achieves better detection results on RSOD, compared to SOTAs. The code and dataset are available at https://github.com/qqding77/CF-YOLO-and-RSOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google