DQ-DETR: DETR with Dynamic Query for Tiny Object Detection

要約

これまでのDETRライクな手法は、一般的な物体の検出に成功しているにもかかわらず、微小物体の検出は、物体クエリの位置情報が、一般的な物体に比べてスケールが非常に小さい微小物体の検出用にカスタマイズされていないため、依然として困難な課題である。また、固定数のクエリを用いるDETRのような手法は、微小物体しか含まれず、異なる画像間でインスタンス数が不均衡な航空データセットには不向きである。そこで我々は、DQ-DETRと名付けたシンプルかつ効果的なモデルを提案する。DQ-DETRは、上記の問題点を解決するために、3つの異なるコンポーネントから構成される：カテゴリカル計数モジュール、計数誘導型特徴強調、動的クエリ選択である。DQ-DETRは、カテゴリカウンティングモジュールからの予測マップと密度マップを用いて、オブジェクトクエリの数を動的に調整し、クエリの位置情報を改善する。我々のモデルDQ-DETRは、これまでのCNNベースやDETRライクな手法を凌駕し、ほとんどが微小物体からなるAI-TOD-V2データセットにおいて、最先端のmAP30.2%を達成した。我々のコードはhttps://github.com/hoiliu-0801/DQ-DETR。

要約(オリジナル)

Despite previous DETR-like methods having performed successfully in generic object detection, tiny object detection is still a challenging task for them since the positional information of object queries is not customized for detecting tiny objects, whose scale is extraordinarily smaller than general objects. Also, DETR-like methods using a fixed number of queries make them unsuitable for aerial datasets, which only contain tiny objects, and the numbers of instances are imbalanced between different images. Thus, we present a simple yet effective model, named DQ-DETR, which consists of three different components: categorical counting module, counting-guided feature enhancement, and dynamic query selection to solve the above-mentioned problems. DQ-DETR uses the prediction and density maps from the categorical counting module to dynamically adjust the number of object queries and improve the positional information of queries. Our model DQ-DETR outperforms previous CNN-based and DETR-like methods, achieving state-of-the-art mAP 30.2% on the AI-TOD-V2 dataset, which mostly consists of tiny objects. Our code will be available at https://github.com/hoiliu-0801/DQ-DETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL