A Comprehensive Study of Real-Time Object Detection Networks Across Multiple Domains: A Survey

要約

ディープ ニューラル ネットワーク ベースのオブジェクト検出器は継続的に進化しており、それぞれに独自の要件セットを持つ多数のアプリケーションで使用されています。
セーフティ クリティカルなアプリケーションには高い精度と信頼性が必要ですが、低遅延のタスクにはリソースとエネルギー効率の高いネットワークが必要です。
影響の大きい実世界のアプリケーションに必要なリアルタイム検出器は継続的に提案されていますが、それらは精度と速度の向上を強調しすぎており、汎用性、堅牢性、リソース、エネルギー効率などの他の機能は省略されています。
既存のネットワークの参照ベンチマークは存在せず、新しいネットワークを設計するための標準的な評価ガイドラインも存在しないため、あいまいで一貫性のない比較が行われます。
したがって、さまざまなデータセットで複数のリアルタイム検出器 (アンカー、キーポイント、およびトランスフォーマー ベース) に関する包括的な研究を実施し、広範なメトリック セットに関する結果を報告します。
また、画像サイズ、アンカー ディメンション、信頼度しきい値、アーキテクチャ レイヤーなどの変数が全体的なパフォーマンスに与える影響についても調査します。
分布の変化、自然な破損、および敵対的な攻撃に対する検出ネットワークの堅牢性を分析します。
また、予測の信頼性を評価するためのキャリブレーション分析も提供しています。
最後に、現実世界への影響を強調するために、自動運転とヘルスケア アプリケーションに関する 2 つのユニークなケース スタディを実施します。
重要なリアルタイム アプリケーションにおけるネットワークの機能をさらに評価するために、エッジ デバイスに検出ネットワークを展開した後のパフォーマンスを報告します。
私たちの広範な実証研究は、産業界が既存のネットワークについて情報に基づいた選択を行うためのガイドラインとして機能します。
また、ネットワークの設計と評価の新しい方向性に向けて研究コミュニティに刺激を与え、広範囲に影響を与えるためのより大きく全体的な概要に焦点を当てたいと考えています.

要約(オリジナル)

Deep neural network based object detectors are continuously evolving and are used in a multitude of applications, each having its own set of requirements. While safety-critical applications need high accuracy and reliability, low-latency tasks need resource and energy-efficient networks. Real-time detectors, which are a necessity in high-impact real-world applications, are continuously proposed, but they overemphasize the improvements in accuracy and speed while other capabilities such as versatility, robustness, resource and energy efficiency are omitted. A reference benchmark for existing networks does not exist, nor does a standard evaluation guideline for designing new networks, which results in ambiguous and inconsistent comparisons. We, thus, conduct a comprehensive study on multiple real-time detectors (anchor-, keypoint-, and transformer-based) on a wide range of datasets and report results on an extensive set of metrics. We also study the impact of variables such as image size, anchor dimensions, confidence thresholds, and architecture layers on the overall performance. We analyze the robustness of detection networks against distribution shifts, natural corruptions, and adversarial attacks. Also, we provide a calibration analysis to gauge the reliability of the predictions. Finally, to highlight the real-world impact, we conduct two unique case studies, on autonomous driving and healthcare applications. To further gauge the capability of networks in critical real-time applications, we report the performance after deploying the detection networks on edge devices. Our extensive empirical study can act as a guideline for the industrial community to make an informed choice on the existing networks. We also hope to inspire the research community towards a new direction in the design and evaluation of networks that focuses on a bigger and holistic overview for a far-reaching impact.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google