Segmenting Known Objects and Unseen Unknowns without Prior Knowledge

要約

パノプティック セグメンテーション手法では、入力で指定された各ピクセルに既知のクラスを割り当てます。
最先端のアプローチであっても、これにより必然的に、トレーニング カテゴリ外のオブジェクトに対する体系的な誤った予測につながる決定が強制されます。
ただし、安全性が重要な設定では、危険な結果を回避するために、流通外のサンプルや例外的なケースに対する堅牢性が非常に重要です。
現実世界のデータセットには、基礎となる分布のロングテールを適切にサンプリングするのに十分なデータ ポイントを含めることができないため、モデルは目に見えない未知のシナリオにも対応できなければなりません。
以前の方法では、すでに認識されているラベルのないオブジェクトを再識別することでこれをターゲットにしていました。
この研究では、全体的セグメンテーションと呼ばれる新しい設定でセグメンテーションを拡張するために必要なステップを提案します。
ホリスティック セグメンテーションは、既知のクラスのパノプティック セグメンテーションを実行しながら、それらに関する事前知識なしに、目に見えない未知のカテゴリのオブジェクトを識別してインスタンスに分離することを目的としています。
私たちは、U3HS を使用してこの新しい問題に取り組みます。U3HS は、未知のものを不確実性の高い領域として検出し、対応するインスタンス対応の埋め込みを個々のオブジェクトにクラスター化します。
そうすることで、未知のオブジェクトによるパノプティック セグメンテーションで初めて、U3HS は未知のカテゴリなしでトレーニングされ、仮定を減らし、現実のシナリオと同じように制約のない設定のままになります。
MS COCO、Cityscapes、Lost&Found の公開データに関する広範な実験により、ホリスティック セグメンテーションと呼ばれる、この新しく挑戦的で前提条件のない設定に対する U3HS の有効性が実証されています。

要約(オリジナル)

Panoptic segmentation methods assign a known class to each pixel given in input. Even for state-of-the-art approaches, this inevitably enforces decisions that systematically lead to wrong predictions for objects outside the training categories. However, robustness against out-of-distribution samples and corner cases is crucial in safety-critical settings to avoid dangerous consequences. Since real-world datasets cannot contain enough data points to adequately sample the long tail of the underlying distribution, models must be able to deal with unseen and unknown scenarios as well. Previous methods targeted this by re-identifying already-seen unlabeled objects. In this work, we propose the necessary step to extend segmentation with a new setting which we term holistic segmentation. Holistic segmentation aims to identify and separate objects of unseen unknown categories into instances, without any prior knowledge about them, while performing panoptic segmentation of known classes. We tackle this new problem with U3HS, which finds unknowns as highly uncertain regions and clusters their corresponding instance-aware embeddings into individual objects. By doing so, for the first time in panoptic segmentation with unknown objects, our U3HS is trained without unknown categories, reducing assumptions and leaving the settings as unconstrained as in real-life scenarios. Extensive experiments on public data from MS COCO, Cityscapes, and Lost&Found demonstrate the effectiveness of U3HS for this new, challenging, and assumptions-free setting called holistic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google