Cut and Learn for Unsupervised Object Detection and Instance Segmentation

要約

Cut-and-LEaRn (CutLER) を提案します。これは、教師なしオブジェクト検出およびセグメンテーション モデルをトレーニングするためのシンプルなアプローチです。
自己監視モデルの特性を活用して、監視なしでオブジェクトを「発見」し、それを増幅して、人間のラベルなしで最先端のローカリゼーション モデルをトレーニングします。
CutLER は、最初に提案された MaskCut アプローチを使用して、画像内の複数のオブジェクトの粗いマスクを生成し、次に、堅牢な損失関数を使用してこれらのマスクの検出器を学習します。
予測に基づいてモデルを自己トレーニングすることにより、パフォーマンスをさらに向上させます。
以前の作業と比較して、CutLER はよりシンプルで、さまざまな検出アーキテクチャと互換性があり、複数のオブジェクトを検出します。
CutLER はまた、監視されていないゼロショット検出器であり、ビデオ フレーム、絵画、スケッチなどのドメイン全体の 11 のベンチマークで AP50 の検出性能を 2.7 倍以上向上させます。微調整により、CutLER は MoCo-v2 を 7.3 上回るローショット検出器として機能します。
5% ラベルでトレーニングする場合、COCO で % APbox と 6.6% APmask。

要約(オリジナル)

We propose Cut-and-LEaRn (CutLER), a simple approach for training unsupervised object detection and segmentation models. We leverage the property of self-supervised models to ‘discover’ objects without supervision and amplify it to train a state-of-the-art localization model without any human labels. CutLER first uses our proposed MaskCut approach to generate coarse masks for multiple objects in an image and then learns a detector on these masks using our robust loss function. We further improve the performance by self-training the model on its predictions. Compared to prior work, CutLER is simpler, compatible with different detection architectures, and detects multiple objects. CutLER is also a zero-shot unsupervised detector and improves detection performance AP50 by over 2.7 times on 11 benchmarks across domains like video frames, paintings, sketches, etc. With finetuning, CutLER serves as a low-shot detector surpassing MoCo-v2 by 7.3% APbox and 6.6% APmask on COCO when training with 5% labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google