Object Detection in Aerial Images in Scarce Data Regimes

要約

Few-Shot Object Detection (FSOD) に関するほとんどの貢献は、自然画像のみでその手法を評価していますが、発表されたパフォーマンスの他の種類の画像に対するアプリケーションへの移行性は保証されていません。
私たちは、航空画像に対する既存の FSOD 手法の詳細な分析によってこれを実証し、自然画像と比較して大きなパフォーマンスのギャップを観察しました。
航空画像では小さな物体が多数存在し、これが自然画像と航空画像の間で明らかなパフォーマンスのギャップの原因となります。
その結果、慎重に設計されたアテンション メカニズムにより、小さなオブジェクトに対する FSOD のパフォーマンスが向上します。
さらに、特に小さなオブジェクトに対する FSOD 法のトレーニングと評価を改善するスケール適応ボックス類似性基準も提案します。
また、メトリクスの学習と微調整に基づいた 2 つの異なるアプローチにより、汎用 FSOD にも貢献します。
微調整方法により優れた結果が得られ、クロスドメイン FSOD などのより複雑なシナリオへの取り組みが促進されます。
私たちはこの方向で予備実験を行い、有望な結果を得ています。
最後に、COSE のシステム内での検出モデルの展開について説明します。
非常に大きな画像 (100 メガピクセル以上) では、限られた計算能力で検出をリアルタイムで行う必要があります。
TensorRT などの既存の最適化ツールを活用して、このエンジニアリングの課題に取り組むことに成功しました。

要約(オリジナル)

Most contributions on Few-Shot Object Detection (FSOD) evaluate their methods on natural images only, yet the transferability of the announced performance is not guaranteed for applications on other kinds of images. We demonstrate this with an in-depth analysis of existing FSOD methods on aerial images and observed a large performance gap compared to natural images. Small objects, more numerous in aerial images, are the cause for the apparent performance gap between natural and aerial images. As a consequence, we improve FSOD performance on small objects with a carefully designed attention mechanism. In addition, we also propose a scale-adaptive box similarity criterion, that improves the training and evaluation of FSOD methods, particularly for small objects. We also contribute to generic FSOD with two distinct approaches based on metric learning and fine-tuning. Impressive results are achieved with the fine-tuning method, which encourages tackling more complex scenarios such as Cross-Domain FSOD. We conduct preliminary experiments in this direction and obtain promising results. Finally, we address the deployment of the detection models inside COSE’s systems. Detection must be done in real-time in extremely large images (more than 100 megapixels), with limited computation power. Leveraging existing optimization tools such as TensorRT, we successfully tackle this engineering challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google