Open-Set LiDAR Panoptic Segmentation Guided by Uncertainty-Aware Learning

要約

オープンワールド環境でナビゲートする自動運転車は、以前に見えなかったオブジェクトクラスに遭遇する可能性があります。
ただし、ほとんどの既存のLIDARパノプティックセグメンテーションモデルは、閉鎖された仮定に依存しており、未知のオブジェクトインスタンスを検出できません。
この作業では、Dirichletベースの証拠学習を活用して予測的な不確実性をモデル化する不確実性のオープンセットパノプティックセグメンテーションフレームワークであるUlopsを提案します。
当社のアーキテクチャには、セマンティックセグメンテーションのために、不確実性の推定、プロトタイプ関連、およびインスタンスセンター予測に埋め込まれた個別のデコーダーが組み込まれています。
推論中、不確実性の推定値を活用して、不明なインスタンスを識別およびセグメント化します。
既知のオブジェクトと未知のオブジェクトを区別するモデルの能力を強化するために、3つの不確実性駆動型の損失関数を導入します。
未知の地域での高い不確実性を促進するための均一な証拠の損失。
適応不確実性分離損失により、世界規模での既知のオブジェクトと未知のオブジェクトの間の不確実性の推定値の一貫した違いが保証されます。
対照的な不確実性の損失は、この分離をきめんゆかレベルで改良します。
オープンセットのパフォーマンスを評価するために、Kitti-360のベンチマーク設定を拡張し、ヌスケンの新しいオープンセット評価を導入します。
広範な実験は、Ulopsが既存のオープンセットのLidarパノプティックセグメンテーション方法よりも常に優れていることを示しています。

要約(オリジナル)

Autonomous vehicles that navigate in open-world environments may encounter previously unseen object classes. However, most existing LiDAR panoptic segmentation models rely on closed-set assumptions, failing to detect unknown object instances. In this work, we propose ULOPS, an uncertainty-guided open-set panoptic segmentation framework that leverages Dirichlet-based evidential learning to model predictive uncertainty. Our architecture incorporates separate decoders for semantic segmentation with uncertainty estimation, embedding with prototype association, and instance center prediction. During inference, we leverage uncertainty estimates to identify and segment unknown instances. To strengthen the model’s ability to differentiate between known and unknown objects, we introduce three uncertainty-driven loss functions. Uniform Evidence Loss to encourage high uncertainty in unknown regions. Adaptive Uncertainty Separation Loss ensures a consistent difference in uncertainty estimates between known and unknown objects at a global scale. Contrastive Uncertainty Loss refines this separation at the fine-grained level. To evaluate open-set performance, we extend benchmark settings on KITTI-360 and introduce a new open-set evaluation for nuScenes. Extensive experiments demonstrate that ULOPS consistently outperforms existing open-set LiDAR panoptic segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google