DETR++: Taming Your Multi-Scale Detection Transformer

要約

畳み込みニューラルネットワーク（CNN）は、ImageNetの分類におけるAlexNetの成功[12]以来、検出の分野を支配してきた。自然言語処理におけるTransformer[27]の一大改革に伴い、Carionら[2]はTransformerに基づく検出手法、すなわちDETRを導入した。しかし、Transformerの自己注視機構が2次関数的に複雑化するため、DETRは既存のCNNベースの検出器で行われているようなマルチスケール特徴を取り込むことができず、小物体検出において劣った結果をもたらす。この問題を軽減し、DETRの性能をさらに向上させるため、本研究では、マルチスケール特徴を取り込むための様々な方法を検討し、双方向特徴ピラミッド（BiFPN）がDETRと最も相性が良く、検出精度をさらに向上させることを発見した。この発見により、既存のベースラインと比較して、MS COCO 2017でAP1.9%、RICOアイコン検出でAP11.5%、RICOレイアウト抽出でAP9.1%検出結果を向上させる新しいアーキテクチャ、DETR++を提案します。

要約(オリジナル)

Convolutional Neural Networks (CNN) have dominated the field of detection ever since the success of AlexNet in ImageNet classification [12]. With the sweeping reform of Transformers [27] in natural language processing, Carion et al. [2] introduce the Transformer-based detection method, i.e., DETR. However, due to the quadratic complexity in the self-attention mechanism in the Transformer, DETR is never able to incorporate multi-scale features as performed in existing CNN-based detectors, leading to inferior results in small object detection. To mitigate this issue and further improve performance of DETR, in this work, we investigate different methods to incorporate multi-scale features and find that a Bi-directional Feature Pyramid (BiFPN) works best with DETR in further raising the detection precision. With this discovery, we propose DETR++, a new architecture that improves detection results by 1.9% AP on MS COCO 2017, 11.5% AP on RICO icon detection, and 9.1% AP on RICO layout extraction over existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL