Building Blocks for Robust and Effective Semi-Supervised Real-World Object Detection

要約

擬似標識に基づく半監視オブジェクト検出（SSOD）は、ラベル付きデータと非標識データの両方を効果的に活用することにより、大きな標識データセットへの依存性を大幅に減少させます。
ただし、SSODの実際のアプリケーションは、クラスの不均衡、ラベルノイズ、ラベル付けエラーなど、多くの場合、重大な課題に直面しています。
実際の条件下でSSODの詳細な分析を提示し、ラベルの品質と量の間の擬似標識と主要なトレードオフの原因を明らかにします。
調査結果に基づいて、SSODフレームワークにシームレスに統合できる4つのビルディングブロックを提案します。
レアクラスコラージュ（RCC）：レアオブジェクトのコラージュを作成することにより、レアクラスの表現を強化するデータ増強方法。
レアクラスフォーカス（RCF）：トレーニング中にすべてのクラスのよりバランスの取れた表現を保証する層状バッチサンプリング戦略。
グラウンドトゥルースラベル補正（GLC）：教師モデルの予測の一貫性を活用することにより、偽、行方不明、および騒々しいグラウンドトゥルースラベルを識別および修正するラベルの改良方法。
擬似ラベル選択（PLS）：クラスの希少性を説明しながら欠落検出率を推定する新しいメトリックによって導かれた、低品質の擬似標識画像を削除する選択方法。
自律運転データセットに関する包括的な実験を通じて、方法を検証し、SSODパフォーマンスが最大6％増加します。
全体として、私たちの調査と斬新で、データ中心で、広く適用可能なビルディングブロックにより、複雑で実世界のシナリオで堅牢で効果的なSSODが可能になります。
コードはhttps://mos-ks.github.io/publicationsで入手できます。

要約(オリジナル)

Semi-supervised object detection (SSOD) based on pseudo-labeling significantly reduces dependence on large labeled datasets by effectively leveraging both labeled and unlabeled data. However, real-world applications of SSOD often face critical challenges, including class imbalance, label noise, and labeling errors. We present an in-depth analysis of SSOD under real-world conditions, uncovering causes of suboptimal pseudo-labeling and key trade-offs between label quality and quantity. Based on our findings, we propose four building blocks that can be seamlessly integrated into an SSOD framework. Rare Class Collage (RCC): a data augmentation method that enhances the representation of rare classes by creating collages of rare objects. Rare Class Focus (RCF): a stratified batch sampling strategy that ensures a more balanced representation of all classes during training. Ground Truth Label Correction (GLC): a label refinement method that identifies and corrects false, missing, and noisy ground truth labels by leveraging the consistency of teacher model predictions. Pseudo-Label Selection (PLS): a selection method for removing low-quality pseudo-labeled images, guided by a novel metric estimating the missing detection rate while accounting for class rarity. We validate our methods through comprehensive experiments on autonomous driving datasets, resulting in up to 6% increase in SSOD performance. Overall, our investigation and novel, data-centric, and broadly applicable building blocks enable robust and effective SSOD in complex, real-world scenarios. Code is available at https://mos-ks.github.io/publications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google