3D Indoor Instance Segmentation in an Open-World

要約

既存の 3D インスタンスのセグメンテーション手法は通常、セグメント化されるすべてのセマンティック クラスがトレーニング中に利用可能であり、認識されたカテゴリのみが推論時にセグメント化されることを前提としています。
私たちは、このような閉じた世界の仮定は制限的であると主張し、モデルが一連の既知のクラスを区別したり、未知のオブジェクトを未知のオブジェクトとして識別したりできるオープンワールド設定での 3D 屋内インスタンスのセグメンテーションを初めて検討します。
その後、対応するカテゴリ ラベルが利用可能になったときに、未知の意味カテゴリを段階的に学習します。
この目的を達成するために、オープンワールド 3D 屋内インスタンス セグメンテーション手法を導入します。この手法では、自動ラベル付けスキームを使用してトレーニング中に疑似ラベルを生成し、既知のカテゴリ ラベルと未知のカテゴリ ラベルを分離するための分離を誘導します。
オブジェクト性スコア分布に基づいて未知のクラスの確率を調整することで、推論時の擬似ラベルの品質をさらに向上させます。
また、固有のオブジェクトの分布、地域ベースの屋内シーンの探索、オープンワールド クラスのランダム性の側面に基づいた現実的なシナリオを活用して、慎重に精選されたオープンワールドの分割も導入します。
広範な実験により、オープンワールド 3D インスタンスのセグメンテーション パフォーマンスを有望に導く、提案された貢献の有効性が明らかになりました。

要約(オリジナル)

Existing 3D instance segmentation methods typically assume that all semantic classes to be segmented would be available during training and only seen categories are segmented at inference. We argue that such a closed-world assumption is restrictive and explore for the first time 3D indoor instance segmentation in an open-world setting, where the model is allowed to distinguish a set of known classes as well as identify an unknown object as unknown and then later incrementally learning the semantic category of the unknown when the corresponding category labels are available. To this end, we introduce an open-world 3D indoor instance segmentation method, where an auto-labeling scheme is employed to produce pseudo-labels during training and induce separation to separate known and unknown category labels. We further improve the pseudo-labels quality at inference by adjusting the unknown class probability based on the objectness score distribution. We also introduce carefully curated open-world splits leveraging realistic scenarios based on inherent object distribution, region-based indoor scene exploration and randomness aspect of open-world classes. Extensive experiments reveal the efficacy of the proposed contributions leading to promising open-world 3D instance segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google