要約
パノプティック セグメンテーション メソッドは、入力で指定された各ピクセルに既知のクラスを割り当てます。
最先端のアプローチであっても、これは本質的に、トレーニング カテゴリの一部ではない未知のオブジェクトの誤った予測に体系的につながる決定を強制します。
ただし、安全性が重要な設定では、危険な結果を回避するために、配布されていないサンプルやコーナーケースに対する堅牢性が重要です。
実世界のデータセットには、基礎となる分布のロングテールを適切にサンプリングするのに十分なデータポイントを含めることができないため、モデルは未知の目に見えないシナリオにも対処できなければなりません.
以前の方法では、すでに表示されているラベルのないオブジェクトを再識別して、この問題をターゲットにしていました。
この作業では、全体的なセグメンテーションと呼ぶ新しいタスクでセグメンテーションを拡張するために必要なステップを提案します。
ホリスティック セグメンテーションの目的は、既知のクラスのパノプティック セグメンテーションを実行しながら、目に見えない未知のカテゴリのオブジェクトをインスタンスに識別して分離することです。
U3HS を使用して、この新しい問題に取り組みます。U3HS は、未知のものを非常に不確実な領域として見つけ、対応するインスタンス認識埋め込みを個々のオブジェクトにクラスター化します。
そうすることで、未知のオブジェクトを使用したパノプティック セグメンテーションで初めて、U3HS は未知のカテゴリでトレーニングされず、仮定が減り、現実のシナリオと同じように設定が制約されないままになります。
Cityscapes と Lost&Found から公開されているデータに関する広範な実験により、全体的なセグメンテーションという新しい困難なタスクに対する U3HS の有効性が実証されています。
要約(オリジナル)
Panoptic segmentation methods assign a known class to each pixel given in input. Even for state-of-the-art approaches, this inherently enforces decisions that systematically lead to wrong predictions for unknown objects that are not part of the training categories. However, in safety-critical settings, robustness against out-of-distribution samples and corner cases is crucial to avoid dangerous consequences. Since real-world datasets cannot contain enough data points to properly sample the long tail of the underlying distribution, models must be able to deal with unknown and unseen scenarios as well. Previous methods targeted this issue by re-identifying already seen unlabeled objects. In this work, we propose the necessary step to extend segmentation with a new task which we term holistic segmentation. The aim of holistic segmentation is to identify and separate objects of unseen unknown categories into instances, without any prior knowledge about them, while performing panoptic segmentation of known classes. We tackle this new problem with U3HS, which finds unknowns as highly uncertain regions, and clusters their corresponding instance-aware embeddings into individual objects. By doing so, for the first time in panoptic segmentation with unknown objects, our U3HS is not trained with unknown categories, reducing assumptions and leaving the settings as unconstrained as in real-life scenarios. Extensive experiments on publicly available data from Cityscapes and Lost&Found demonstrate the effectiveness of U3HS for the new challenging task of holistic segmentation.
arxiv情報
著者 | Stefano Gasperini,Alvaro Marcos-Ramiro,Michael Schmidt,Nassir Navab,Benjamin Busam,Federico Tombari |
発行日 | 2022-11-15 18:58:02+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google