Holistic Segmentation

要約

パノプティック セグメンテーションは入力のすべてのピクセルの予測を提供するため、非標準で目に見えないオブジェクトは体系的に間違った出力につながります。
ただし、安全性が重要な設定では、動物を無視したり、路上で貨物を紛失したりするなどの危険な行動を回避するために、配布されていないサンプルやコーナーケースに対する堅牢性が重要です。
ドライビング データセットには、基礎となる分布のロング テールを適切にサンプリングするのに十分なデータ ポイントを含めることができないため、メソッドは、安全にデプロイされる未知の未知のシナリオに対処する必要があります。
以前の方法では、すでに表示されているラベルのないオブジェクトを再識別して、この問題の一部をターゲットにしていました。
この作業では、全体的なセグメンテーションを提案する範囲を広げます。これは、既知のクラスのパノプティック セグメンテーションを実行しながら、未知のものから学習することなく、目に見えない未知のオブジェクトを識別してインスタンスに分離するタスクです。
U3HS を使用してこの新しい問題に取り組みます。U3HS は、最初に非常に不確実な領域として未知のものを見つけ、次に対応するインスタンス認識埋め込みを個々のオブジェクトにクラスター化します。
そうすることで、未知のオブジェクトを使用したパノプティック セグメンテーションで初めて、U3HS は未知のデータでトレーニングされないため、オブジェクトの種類に関して設定が制約されず、全体的なシーンの理解が可能になります。
転送としての Cityscapes と Lost&Found という 2 つの公開データセットでの広範な実験と比較により、競争力のあるクローズド セットのパノプティック セグメンテーション パフォーマンスを備えた、全体論的セグメンテーションの困難なタスクにおける U3HS の有効性が実証されました。

要約(オリジナル)

As panoptic segmentation provides a prediction for every pixel in input, non-standard and unseen objects systematically lead to wrong outputs. However, in safety-critical settings, robustness against out-of-distribution samples and corner cases is crucial to avoid dangerous behaviors, such as ignoring an animal or a lost cargo on the road. Since driving datasets cannot contain enough data points to properly sample the long tail of the underlying distribution, a method must deal with unknown and unseen scenarios to be deployed safely. Previous methods targeted part of this issue, by re-identifying already seen unlabeled objects. In this work, we broaden the scope proposing holistic segmentation: a task to identify and separate unseen unknown objects into instances, without learning from unknowns, while performing panoptic segmentation of known classes. We tackle this new problem with U3HS, which first finds unknowns as highly uncertain regions, then clusters the corresponding instance-aware embeddings into individual objects. By doing so, for the first time in panoptic segmentation with unknown objects, our U3HS is not trained with unknown data, thus leaving the settings unconstrained with respect to the type of objects and allowing for a holistic scene understanding. Extensive experiments and comparisons on two public datasets, namely Cityscapes and Lost&Found as a transfer, demonstrate the effectiveness of U3HS in the challenging task of holistic segmentation, with competitive closed-set panoptic segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google