Open-Set Semi-Supervised Object Detection

要約

半教師ありオブジェクト検出 (SSOD) の最近の開発では、ラベルのないデータを活用してオブジェクト検出器を改善できる可能性が示されています。
ただし、これまでのところ、これらの方法では、ラベルのないデータには分布外 (OOD) クラスが含まれていないと想定しており、大規模なラベルのないデータセットでは非現実的です。
このホワイト ペーパーでは、より実用的でありながら挑戦的な問題である Open-Set Semi-Supervised Object Detection (OSSOD) について考察します。
最初に、既存の SSOD メソッドがオープン セット条件で低いパフォーマンス ゲインを得ることを発見しました。これはセマンティック拡張が原因であり、注意をそらす OOD オブジェクトが半教師ありトレーニングの分布内疑似ラベルとして誤って予測されます。
この問題に対処するために、SSOD メソッドと統合されたオンラインおよびオフラインの OOD 検出モジュールを検討します。
広範な研究により、自己監視型ビジョン トランスフォーマーに基づくオフライン OOD 検出器の活用は、擬似ラベリングの干渉に対する堅牢性により、オンライン OOD 検出器に対して有利に機能することがわかりました。
実験では、提案されたフレームワークはセマンティック拡張の問題に効果的に対処し、大規模な COCO-OpenImages を含む多くの OSSOD ベンチマークで一貫した改善を示しています。
また、さまざまな数の配布クラス、さまざまな程度の監督、ラベルのないセットのさまざまな組み合わせなど、さまざまな OSSOD 条件下でフレームワークの有効性を検証します。

要約(オリジナル)

Recent developments for Semi-Supervised Object Detection (SSOD) have shown the promise of leveraging unlabeled data to improve an object detector. However, thus far these methods have assumed that the unlabeled data does not contain out-of-distribution (OOD) classes, which is unrealistic with larger-scale unlabeled datasets. In this paper, we consider a more practical yet challenging problem, Open-Set Semi-Supervised Object Detection (OSSOD). We first find the existing SSOD method obtains a lower performance gain in open-set conditions, and this is caused by the semantic expansion, where the distracting OOD objects are mispredicted as in-distribution pseudo-labels for the semi-supervised training. To address this problem, we consider online and offline OOD detection modules, which are integrated with SSOD methods. With the extensive studies, we found that leveraging an offline OOD detector based on a self-supervised vision transformer performs favorably against online OOD detectors due to its robustness to the interference of pseudo-labeling. In the experiment, our proposed framework effectively addresses the semantic expansion issue and shows consistent improvements on many OSSOD benchmarks, including large-scale COCO-OpenImages. We also verify the effectiveness of our framework under different OSSOD conditions, including varying numbers of in-distribution classes, different degrees of supervision, and different combinations of unlabeled sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google