Mind the Gap: Polishing Pseudo labels for Accurate Semi-supervised Object Detection

要約

教師検出器によって生成された注釈なしオブジェクトの疑似ラベル (カテゴリや境界ボックスなど) を利用することは、半教師ありオブジェクト検出 (SSOD) の最近の進歩の多くを支えてきました。
ただし、注釈が不足しているために教師検出器の一般化能力が制限されているため、生成された擬似ラベルは、特に分類の信頼度が比較的低い場合、グラウンド トゥルースから逸脱することが多く、SSOD の一般化パフォーマンスが制限されます。
この問題を軽減するために、SSOD のデュアル疑似ラベル研磨フレームワークを提案します。
教師検出器によって生成された疑似ラベルを直接利用する代わりに、二重研磨学習を使用してグラウンド トゥルースからの偏差を減らす最初の試みを行います。ここでは、2 つの異なる構造の研磨ネットワークが入念に開発され、合成されたペアの疑似ラベルと対応する地面を使用してトレーニングされます。
それぞれ、指定された注釈付きオブジェクトのカテゴリと境界ボックスの真。
これにより、両方の研磨ネットワークは、最初に生成された疑似ラベルに基づいてコンテキスト知識を十分に活用することで、注釈のないオブジェクトのより正確な疑似ラベルを推測できるため、SSOD の一般化パフォーマンスが向上します。
さらに、このようなスキームは、既存の SSOD フレームワークにシームレスにプラグインして、エンドツーエンドの共同学習を行うことができます。
さらに、SSOD で個別のカテゴリ分類と境界ボックス回帰のために、洗練された擬似カテゴリと注釈なしオブジェクトの境界ボックスを解きほぐすことを提案します。これにより、モデルのトレーニング中により多くの注釈なしオブジェクトを導入できるようになり、パフォーマンスがさらに向上します。
PASCAL VOC と MS COCO ベンチマークの両方での実験は、提案された方法が既存の最先端のベースラインよりも優れていることを示しています。

要約(オリジナル)

Exploiting pseudo labels (e.g., categories and bounding boxes) of unannotated objects produced by a teacher detector have underpinned much of recent progress in semi-supervised object detection (SSOD). However, due to the limited generalization capacity of the teacher detector caused by the scarce annotations, the produced pseudo labels often deviate from ground truth, especially those with relatively low classification confidences, thus limiting the generalization performance of SSOD. To mitigate this problem, we propose a dual pseudo-label polishing framework for SSOD. Instead of directly exploiting the pseudo labels produced by the teacher detector, we take the first attempt at reducing their deviation from ground truth using dual polishing learning, where two differently structured polishing networks are elaborately developed and trained using synthesized paired pseudo labels and the corresponding ground truth for categories and bounding boxes on the given annotated objects, respectively. By doing this, both polishing networks can infer more accurate pseudo labels for unannotated objects through sufficiently exploiting their context knowledge based on the initially produced pseudo labels, and thus improve the generalization performance of SSOD. Moreover, such a scheme can be seamlessly plugged into the existing SSOD framework for joint end-to-end learning. In addition, we propose to disentangle the polished pseudo categories and bounding boxes of unannotated objects for separate category classification and bounding box regression in SSOD, which enables introducing more unannotated objects during model training and thus further improve the performance. Experiments on both PASCAL VOC and MS COCO benchmarks demonstrate the superiority of the proposed method over existing state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google