Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning

要約

実世界のオブジェクト検出のデータは、多くの場合、ロングテール分布を示します。
既存のソリューションは、頭と尾のカテゴリ間の競合を緩和することで、この問題に取り組んでいます。
ただし、トレーニング サンプルが不足しているため、テール カテゴリは識別表現を学習できません。
より多くのデータをトレーニングに取り込むことで問題が軽減される可能性がありますが、インスタンス レベルの注釈を収集するのは非常に困難な作業です。
対照的に、画像レベルの注釈は簡単にアクセスできますが、十分に活用されていません。
この論文では、画像レベルの監視を活用してマルチタスクの協調的な方法で検出能力を強化する、新しいフレームワーク CLIS (画像レベルの監視によるマルチタスクの共同学習) を提案します。
具体的には、オブジェクト検出タスク (インスタンス分類タスクとローカリゼーション タスクで構成される) と、フレームワークには画像分類タスクがあり、2 種類の監視を利用します。
さまざまなタスクは、次の 3 つの主要な設計によって共同でトレーニングされます。
(2) その知識をインスタンス分類タスクと共有する画像分類タスク用のシャム サブネットワーク。その結果、検出器の機能が強化されます。
（3）表現の一貫性を維持し、異なる監督の機能のギャップを埋める対照的な学習正則化。
困難な LVIS データセットに対して広範な実験が行われます。
CLIS は、洗練されたロス エンジニアリングなしで、31.1 の全体的な AP を達成し、テール カテゴリで 10.1 ポイント改善し、新しい最先端技術を確立します。
コードは https://github.com/waveboo/CLIS にあります。

要約(オリジナル)

Data in real-world object detection often exhibits the long-tailed distribution. Existing solutions tackle this problem by mitigating the competition between the head and tail categories. However, due to the scarcity of training samples, tail categories are still unable to learn discriminative representations. Bringing more data into the training may alleviate the problem, but collecting instance-level annotations is an excruciating task. In contrast, image-level annotations are easily accessible but not fully exploited. In this paper, we propose a novel framework CLIS (multi-task Collaborative Learning with Image-level Supervision), which leverage image-level supervision to enhance the detection ability in a multi-task collaborative way. Specifically, there are an object detection task (consisting of an instance-classification task and a localization task) and an image-classification task in our framework, responsible for utilizing the two types of supervision. Different tasks are trained collaboratively by three key designs: (1) task-specialized sub-networks that learn specific representations of different tasks without feature entanglement. (2) a siamese sub-network for the image-classification task that shares its knowledge with the instance-classification task, resulting in feature enrichment of detectors. (3) a contrastive learning regularization that maintains representation consistency, bridging feature gaps of different supervision. Extensive experiments are conducted on the challenging LVIS dataset. Without sophisticated loss engineering, CLIS achieves an overall AP of 31.1 with 10.1 point improvement on tail categories, establishing a new state-of-the-art. Code will be at https://github.com/waveboo/CLIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google