Task-wise Sampling Convolutions for Arbitrary-Oriented Object Detection in Aerial Images

要約

任意指向物体検出 (AOOD) は、リモート センシング画像内のさまざまな向きを持つ物体の位置を特定し、分類するために広く適用されています。
ただし、AOOD モデルの位置特定および分類タスクの特徴が一貫していないため、曖昧さや低品質の物体予測が発生し、検出パフォーマンスが制約される可能性があります。
本稿では、タスクワイズサンプリング畳み込み (TS-Conv) と呼ばれる AOOD 手法を提案します。
TS-Conv は、それぞれの敏感な領域からタスクごとの特徴を適応的にサンプリングし、これらの特徴を調整して一緒にマッピングして、より適切な予測を行うための動的ラベル割り当てをガイドします。
具体的には、TS-Conv におけるローカリゼーション畳み込みのサンプリング位置は、空間座標に関連付けられた指向性バウンディング ボックス (OBB) 予測によって監視されます。
一方、分類畳み込みのサンプリング位置と畳み込みカーネルは、特徴の方向のロバスト性を向上させるために、さまざまな方向に応じて適応的に調整されるように設計されています。
さらに、動的タスク認識ラベル割り当て (DTLA) 戦略が開発され、最適な候補位置を選択し、TS-Conv から取得したランク付けされたタスク認識スコアに従って動的にラベルを割り当てます。
複数のシーン、マルチモーダル画像、オブジェクトの複数カテゴリをカバーするいくつかの公開データセットに対する広範な実験により、提案された TS-Conv の有効性、スケーラビリティ、および優れたパフォーマンスが実証されました。

要約(オリジナル)

Arbitrary-oriented object detection (AOOD) has been widely applied to locate and classify objects with diverse orientations in remote sensing images. However, the inconsistent features for the localization and classification tasks in AOOD models may lead to ambiguity and low-quality object predictions, which constrains the detection performance. In this paper, an AOOD method called task-wise sampling convolutions (TS-Conv) is proposed. TS-Conv adaptively samples task-wise features from respective sensitive regions and maps these features together in alignment to guide a dynamic label assignment for better predictions. Specifically, sampling positions of the localization convolution in TS-Conv is supervised by the oriented bounding box (OBB) prediction associated with spatial coordinates. While sampling positions and convolutional kernel of the classification convolution are designed to be adaptively adjusted according to different orientations for improving the orientation robustness of features. Furthermore, a dynamic task-aware label assignment (DTLA) strategy is developed to select optimal candidate positions and assign labels dynamicly according to ranked task-aware scores obtained from TS-Conv. Extensive experiments on several public datasets covering multiple scenes, multimodal images, and multiple categories of objects demonstrate the effectiveness, scalability and superior performance of the proposed TS-Conv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google