Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines

要約

小型物体検出 (SOD) は、数十年にわたって長年にわたって課題となってきた課題であり、多数のデータセットやアルゴリズムが開発されています。
ただし、それらは主に可視モダリティまたは熱モダリティのいずれかに焦点を当てており、可視熱 (RGBT) の二峰性についてはほとんど研究されていません。
いくつかの RGBT データセットが最近開発されましたが、不十分な量、限定されたカテゴリ、位置ずれした画像、および大きなターゲット サイズにより、マルチカテゴリ可視熱小型物体検出 (RGBT SOD) アルゴリズムを評価するための公平なベンチマークを提供できません。
この論文では、115 ペアのシーケンス、93K フレーム、および 1.2M の手動アノテーションを含む、RGBT SOD (すなわち RGBT-Tiny) の高い多様性を備えた最初の大規模ベンチマークを構築します。
RGBT-Tiny には、豊富なターゲット (7 カテゴリー) と多様性の高いシーン (さまざまな照明と濃度の変化をカバーする 8 タイプ) が含まれています。
ターゲットの 81% 以上が 16×16 より小さいことに注意してください。また、追跡 ID を備えたペアのバウンディング ボックス アノテーションを提供し、RGBT 融合、検出、追跡などの幅広いアプリケーションで非常に困難なベンチマークを提供します。
さらに、小規模なターゲットと大規模なターゲットの両方で高いロバスト性を示すスケール適応適応度 (SAFit) 尺度を提案します。
提案された SAFit は、合理的な性能評価を提供し、検出性能を向上させることができます。
提案された RGBT-Tiny データセットと SAFit 測定に基づいて、4 つの異なるタイプ (つまり、可視汎用検出、可視 SOD、熱 SOD、および RGBT オブジェクト検出) をカバーする 23 の最新の最先端アルゴリズムを含む広範な評価が実施されました。
）。
プロジェクトは https://github.com/XinyiYing24/RGBT-Tiny で入手できます。

要約(オリジナル)

Small object detection (SOD) has been a longstanding yet challenging task for decades, with numerous datasets and algorithms being developed. However, they mainly focus on either visible or thermal modality, while visible-thermal (RGBT) bimodality is rarely explored. Although some RGBT datasets have been developed recently, the insufficient quantity, limited category, misaligned images and large target size cannot provide an impartial benchmark to evaluate multi-category visible-thermal small object detection (RGBT SOD) algorithms. In this paper, we build the first large-scale benchmark with high diversity for RGBT SOD (namely RGBT-Tiny), including 115 paired sequences, 93K frames and 1.2M manual annotations. RGBT-Tiny contains abundant targets (7 categories) and high-diversity scenes (8 types that cover different illumination and density variations). Note that, over 81% of targets are smaller than 16×16, and we provide paired bounding box annotations with tracking ID to offer an extremely challenging benchmark with wide-range applications, such as RGBT fusion, detection and tracking. In addition, we propose a scale adaptive fitness (SAFit) measure that exhibits high robustness on both small and large targets. The proposed SAFit can provide reasonable performance evaluation and promote detection performance. Based on the proposed RGBT-Tiny dataset and SAFit measure, extensive evaluations have been conducted, including 23 recent state-of-the-art algorithms that cover four different types (i.e., visible generic detection, visible SOD, thermal SOD and RGBT object detection). Project is available at https://github.com/XinyiYing24/RGBT-Tiny.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google