Open-World Weakly-Supervised Object Localization

要約

タイトル：オープンワールド弱教師付き物体ローカライゼーション
要約：弱教師付き物体ローカライゼーション（WSOL）においては、注目すべき成功があるが、現在のフレームワークはオープンワールド設定での新しいカテゴリの物体の位置を特定することができない。この問題を解決するために、我々はOWSOL（Open-World Weakly-Supervised Object Localization）と呼ばれる新しい弱教師付き物体ローカライゼーションタスクを導入する。トレーニング中、すべてのラベル付きデータは既知のカテゴリから来るため、未知のカテゴリが未ラベル付きのデータに存在する。このようなデータを扱うために、ラベル付きおよび未ラベル付きデータを使用して比較的表現共同学習の新しいパラダイムを提案し、バウンディングボックス注釈の必要性なしにオブジェクトローカリゼーションのための完全なG-CAM（総合的なクラス活性化マップ）を生成する。未ラベル付きデータのクラスラベルが利用できないため、私たちは、全トレーニングセットでクラスタリングを行い、表現学習のための新しいマルチセマンティックセントロイド駆動の対比的損失を設計する。我々は、ImageNet-1KとiNatLoc500という2つの広く使われているデータセットを再編成し、OWSOLの評価基準としてOpenImages150を提案する。広範な実験により、提案された方法がすべてのベースラインを大幅に上回ることが示された。我々は、この作品がクローズドセットローカライゼーションをオープンワールド設定に移行させ、その後の作品の基礎となることを期待している。コードはhttps://github.com/ryylcc/OWSOLで公開されます。

– 現在のフレームワークはオープンワールド設定での新しいカテゴリの物体の位置を特定することができない。
– OWSOL（Open-World Weakly-Supervised Object Localization）で新しい弱教師付き物体ローカライゼーションタスクを提案する。
– バウンディングボックス注釈の必要性なしにオブジェクトローカリゼーションのための完全なG-CAM（総合的なクラス活性化マップ）を生成するための比較的表現共同学習の新しいパラダイムを提案する。
– 未ラベル付きデータのクラスラベルが利用できないため、表現学習のための新しいマルチセマンティックセントロイド駆動の対比的損失を設計する。
– 広範な実験により、提案された方法がすべてのベースラインを大幅に上回ることが示された。
– コードはhttps://github.com/ryylcc/OWSOLで公開されます。

要約(オリジナル)

While remarkable success has been achieved in weakly-supervised object localization (WSOL), current frameworks are not capable of locating objects of novel categories in open-world settings. To address this issue, we are the first to introduce a new weakly-supervised object localization task called OWSOL (Open-World Weakly-Supervised Object Localization). During training, all labeled data comes from known categories and, both known and novel categories exist in the unlabeled data. To handle such data, we propose a novel paradigm of contrastive representation co-learning using both labeled and unlabeled data to generate a complete G-CAM (Generalized Class Activation Map) for object localization, without the requirement of bounding box annotation. As no class label is available for the unlabelled data, we conduct clustering over the full training set and design a novel multiple semantic centroids-driven contrastive loss for representation learning. We re-organize two widely used datasets, i.e., ImageNet-1K and iNatLoc500, and propose OpenImages150 to serve as evaluation benchmarks for OWSOL. Extensive experiments demonstrate that the proposed method can surpass all baselines by a large margin. We believe that this work can shift the close-set localization towards the open-world setting and serve as a foundation for subsequent works. Code will be released at https://github.com/ryylcc/OWSOL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI