Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation

要約

高品質のアノテーションを含む大規模なトレーニング データは、セマンティック モデルとインスタンス セグメンテーション モデルのトレーニングに不可欠です。
残念ながら、ピクセル単位の注釈は労力とコストがかかるため、より効率的なラベル付け戦略の需要が高まっています。
この作業では、簡単に取得できる粗い 3D 境界プリミティブからピクセルごとの 2D セマンティックおよびインスタンス ラベルを取得することを目的とした、新しい 3D から 2D へのラベル転送方法である Panoptic NeRF を紹介します。
私たちの方法は、既存のデータセットから転送された粗い 3D 注釈と 2D セマンティック キューを統合する微分可能なツールとして NeRF を利用します。
この組み合わせにより、セマンティック情報によって導かれるジオメトリが改善され、複数のビューで正確なセマンティック マップのレンダリングが可能になることが実証されました。
さらに、この融合プロセスは、粗い 3D 注釈のラベルのあいまいさを解決し、2D 予測のノイズをフィルター処理します。
3D 空間で推論し、2D ラベルにレンダリングすることにより、2D セマンティック ラベルとインスタンス ラベルは設計上、マルチビューの一貫性があります。
実験結果は、Panoptic NeRF が、KITTI-360 データセットの困難な都市シーンでの精度とマルチビューの一貫性の点で、既存のラベル転送方法よりも優れていることを示しています。

要約(オリジナル)

Large-scale training data with high-quality annotations is critical for training semantic and instance segmentation models. Unfortunately, pixel-wise annotation is labor-intensive and costly, raising the demand for more efficient labeling strategies. In this work, we present a novel 3D-to-2D label transfer method, Panoptic NeRF, which aims for obtaining per-pixel 2D semantic and instance labels from easy-to-obtain coarse 3D bounding primitives. Our method utilizes NeRF as a differentiable tool to unify coarse 3D annotations and 2D semantic cues transferred from existing datasets. We demonstrate that this combination allows for improved geometry guided by semantic information, enabling rendering of accurate semantic maps across multiple views. Furthermore, this fusion process resolves label ambiguity of the coarse 3D annotations and filters noise in the 2D predictions. By inferring in 3D space and rendering to 2D labels, our 2D semantic and instance labels are multi-view consistent by design. Experimental results show that Panoptic NeRF outperforms existing label transfer methods in terms of accuracy and multi-view consistency on challenging urban scenes of the KITTI-360 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google