Gold-YOLO: Efficient Object Detector via Gather-and-Distribute Mechanism

要約

ここ数年、YOLO シリーズ モデルは、リアルタイム物体検出の分野における主要なアプローチとして台頭してきました。
多くの研究では、アーキテクチャを変更し、データを増強し、新しい損失を設計することによって、ベースラインをより高いレベルに引き上げました。
ただし、Feature Pyramid Network (FPN) と Path Aggregation Network (PANet) によってこの問題は軽減されましたが、以前のモデルでも依然として情報融合の問題が発生していることがわかりました。
したがって、この研究では、畳み込み演算とセルフアテンション演算によって実現される、高度なGatherand-Distributeメカニズム(GD)メカニズムを提供します。
Gold-YOLO と名付けられたこの新しい設計モデルは、マルチスケール機能融合機能を強化し、すべてのモデル スケールにわたってレイテンシーと精度の理想的なバランスを実現します。
さらに、MAE スタイルの事前トレーニングを YOLO シリーズに初めて実装し、YOLO シリーズ モデルが教師なし事前トレーニングの恩恵を受けることができるようにします。
Gold-YOLO-N は、COCO val2017 データセットで 39.9% の優れた AP と T4 GPU で 1030 FPS を達成し、同様の FPS を持つ以前の SOTA モデル YOLOv6-3.0-N を +2.4% 上回ります。
PyTorch コードは https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO で入手でき、MindSpore コードは https://gitee.com/mindspore/models で入手できます。
/tree/master/research/cv/Gold_YOLO.

要約(オリジナル)

In the past years, YOLO-series models have emerged as the leading approaches in the area of real-time object detection. Many studies pushed up the baseline to a higher level by modifying the architecture, augmenting data and designing new losses. However, we find previous models still suffer from information fusion problem, although Feature Pyramid Network (FPN) and Path Aggregation Network (PANet) have alleviated this. Therefore, this study provides an advanced Gatherand-Distribute mechanism (GD) mechanism, which is realized with convolution and self-attention operations. This new designed model named as Gold-YOLO, which boosts the multi-scale feature fusion capabilities and achieves an ideal balance between latency and accuracy across all model scales. Additionally, we implement MAE-style pretraining in the YOLO-series for the first time, allowing YOLOseries models could be to benefit from unsupervised pretraining. Gold-YOLO-N attains an outstanding 39.9% AP on the COCO val2017 datasets and 1030 FPS on a T4 GPU, which outperforms the previous SOTA model YOLOv6-3.0-N with similar FPS by +2.4%. The PyTorch code is available at https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO, and the MindSpore code is available at https://gitee.com/mindspore/models/tree/master/research/cv/Gold_YOLO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google