PDF: A Probability-Driven Framework for Open World 3D Point Cloud Semantic Segmentation

要約

既存の点群セマンティック セグメンテーション ネットワークは、実世界の閉集合と静的な視点のため、未知のクラスを識別してその知識を更新することができず、インテリジェント エージェントに誤った決定を下すことになります。
この問題に対処するために、我々は、オープンワールドのセマンティック セグメンテーションのための確率駆動フレームワーク (PDF) を提案します。これには、(i) 不確実性を推定することによって未知のクラスを識別する軽量の U デコーダー ブランチ、(ii) 柔軟な擬似ラベル付けスキームが含まれます。
擬似ラベルを生成することにより、未知のクラスの確率分布特徴とともに幾何学的特徴を提供する。(iii) 新しいクラスを既存の知識ベースに徐々に組み込む増分知識蒸留戦略。
私たちのフレームワークにより、モデルは人間のように振る舞うことができ、未知の物体を認識し、対応する知識を使って段階的に学習することができます。
S3DIS および ScanNetv2 データセットの実験結果は、提案された PDF が、オープンワールドのセマンティック セグメンテーションという両方の重要なタスクにおいて、他の方法よりも大幅に優れていることを示しています。

要約(オリジナル)

Existing point cloud semantic segmentation networks cannot identify unknown classes and update their knowledge, due to a closed-set and static perspective of the real world, which would induce the intelligent agent to make bad decisions. To address this problem, we propose a Probability-Driven Framework (PDF) for open world semantic segmentation that includes (i) a lightweight U-decoder branch to identify unknown classes by estimating the uncertainties, (ii) a flexible pseudo-labeling scheme to supply geometry features along with probability distribution features of unknown classes by generating pseudo labels, and (iii) an incremental knowledge distillation strategy to incorporate novel classes into the existing knowledge base gradually. Our framework enables the model to behave like human beings, which could recognize unknown objects and incrementally learn them with the corresponding knowledge. Experimental results on the S3DIS and ScanNetv2 datasets demonstrate that the proposed PDF outperforms other methods by a large margin in both important tasks of open world semantic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google