ssFPN: Scale Sequence (S^2) Feature Based Feature Pyramid Network for Object Detection

要約

Feature Pyramid Network (FPN) は、オブジェクト検出モデルがオブジェクトのさまざまなスケールを考慮するために不可欠なモジュールです。
ただし、小さいオブジェクトの平均精度 (AP) は、中型および大型オブジェクトの AP よりも相対的に低くなります。
その理由は、CNN のより深い層が特徴抽出レベルとして情報損失を引き起こすためです。
小さなオブジェクトの特徴情報を強化するために、FPN の新しいスケール シーケンス (S^2) 特徴抽出を提案します。
FPN 構造をスケール空間とみなし、FPN のレベル軸上で 3D 畳み込みによりスケール シーケンス (S^2) 特徴を抽出します。
これは基本的にスケール不変の機能であり、小さなオブジェクトの高解像度ピラ​​ミッド機能マップ上に構築されています。
さらに、提案された S^2 機能は、FPN に基づくほとんどのオブジェクト検出モデルに拡張できます。
提案された S2 機能が、MS COCO データセットの 1 段階検出器と 2 段階検出器の両方のパフォーマンスを向上できることを示します。
提案された S2 機能に基づいて、YOLOv4-P5 と YOLOv4-P6 でそれぞれ最大 1.3% と 1.1% の AP 改善を達成します。
Faster RCNN と Mask R-CNN の場合、提案された S^2 機能でそれぞれ最大 2.0% と 1.6% の AP 改善が見られます。

要約(オリジナル)

Feature Pyramid Network (FPN) has been an essential module for object detection models to consider various scales of an object. However, average precision (AP) on small objects is relatively lower than AP on medium and large objects. The reason is why the deeper layer of CNN causes information loss as feature extraction level. We propose a new scale sequence (S^2) feature extraction of FPN to strengthen feature information of small objects. We consider FPN structure as scale-space and extract scale sequence (S^2) feature by 3D convolution on the level axis of FPN. It is basically scale invariant feature and is built on high-resolution pyramid feature map for small objects. Furthermore, the proposed S^2 feature can be extended to most object detection models based on FPN. We demonstrate the proposed S2 feature can improve the performance of both one-stage and two-stage detectors on MS COCO dataset. Based on the proposed S2 feature, we achieve upto 1.3% and 1.1% of AP improvement for YOLOv4-P5 and YOLOv4-P6, respectively. For Faster RCNN and Mask R-CNN, we observe upto 2.0% and 1.6% of AP improvement with the suggested S^2 feature, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google