Open-world Instance Segmentation: Top-down Learning with Bottom-up Supervision

要約

インスタンス セグメンテーションの多くのトップダウン アーキテクチャは、事前定義されたクローズド ワールド分類法でトレーニングおよびテストされると、大きな成功を収めます。
ただし、オープンワールドに展開すると、可視クラスに顕著な偏りが見られ、パフォーマンスが大幅に低下します。
この作業では、トップダウン学習フレームワーク内で古典的なボトムアップ セグメンテーション アルゴリズムを組み合わせた、ボトムアップおよびトップダウン オープンワールド セグメンテーション (UDOS) と呼ばれるオープン ワールド インスタンス セグメンテーションの新しいアプローチを提案します。
UDOS はまず、ボトムアップ セグメンテーションからの弱い監督でトレーニングされたトップダウン ネットワークを使用して、オブジェクトの一部を予測します。
ボトムアップのセグメンテーションはクラスにとらわれず、特定の分類法に過適合しません。
次に、パーツ マスクがアフィニティ ベースのグループ化および改良モジュールに入力され、堅牢なインスタンス レベルのセグメンテーションが予測されます。
UDOS は、トップダウン アーキテクチャによる速度と効率性、およびボトムアップ監視による目に見えないカテゴリへの一般化機能の両方を享受しています。
MS-COCO、LVIS、ADE20k、UVO、OpenImages を含む 5 つの困難なデータセットから、複数のクロスカテゴリおよびクロスデータセット転送タスクで UDOS の強みを検証し、全面的に最先端の大幅な改善を達成します
.
私たちのコードとモデルは、プロジェクト ページで入手できます。

要約(オリジナル)

Many top-down architectures for instance segmentation achieve significant success when trained and tested on pre-defined closed-world taxonomy. However, when deployed in the open world, they exhibit notable bias towards seen classes and suffer from significant performance drop. In this work, we propose a novel approach for open world instance segmentation called bottom-Up and top-Down Open-world Segmentation (UDOS) that combines classical bottom-up segmentation algorithms within a top-down learning framework. UDOS first predicts parts of objects using a top-down network trained with weak supervision from bottom-up segmentations. The bottom-up segmentations are class-agnostic and do not overfit to specific taxonomies. The part-masks are then fed into affinity-based grouping and refinement modules to predict robust instance-level segmentations. UDOS enjoys both the speed and efficiency from the top-down architectures and the generalization ability to unseen categories from bottom-up supervision. We validate the strengths of UDOS on multiple cross-category as well as cross-dataset transfer tasks from 5 challenging datasets including MS-COCO, LVIS, ADE20k, UVO and OpenImages, achieving significant improvements over state-of-the-art across the board. Our code and models are available on our project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google