GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation

要約

レンジビュー（RV）やバーズアイビュー（BEV）などの投影ビューからの点群セマンティックセグメンテーションが集中的に調査されています。
異なるビューは点群の異なる情報をキャプチャするため、互いに補完し合います。
ただし、点群セマンティックセグメンテーションの最近の投影ベースの方法は、通常、さまざまなビューの予測にバニラ後期融合戦略を利用しており、表現学習中に幾何学的観点から補完的な情報を探索できません。
この論文では、幾何学的フローネットワーク（GFNet）を紹介して、融合前に整列する方法で異なるビュー間の幾何学的対応を調査します。
具体的には、新しい幾何学的フローモジュール（GFM）を考案し、エンドツーエンドの学習スキームの下での幾何学的関係に従って、さまざまなビュー間で補完的な情報を双方向に整列および伝播します。
プロジェクトベースのポイントクラウドセマンティックセグメンテーションに対するGFNetの有効性を実証するために、広く使用されている2つのベンチマークデータセットであるSemanticKITTIとnuScenesで広範な実験を実行します。
具体的には、GFNetは、個々のビューのパフォーマンスを大幅に向上させるだけでなく、既存のすべての投影ベースのモデルよりも最先端の結果を実現します。
コードは\url{https://github.com/haibo-qiu/GFNet}で入手できます。

要約(オリジナル)

Point cloud semantic segmentation from projected views, such as range-view (RV) and bird’s-eye-view (BEV), has been intensively investigated. Different views capture different information of point clouds and thus are complementary to each other. However, recent projection-based methods for point cloud semantic segmentation usually utilize a vanilla late fusion strategy for the predictions of different views, failing to explore the complementary information from a geometric perspective during the representation learning. In this paper, we introduce a geometric flow network (GFNet) to explore the geometric correspondence between different views in an align-before-fuse manner. Specifically, we devise a novel geometric flow module (GFM) to bidirectionally align and propagate the complementary information across different views according to geometric relationships under the end-to-end learning scheme. We perform extensive experiments on two widely used benchmark datasets, SemanticKITTI and nuScenes, to demonstrate the effectiveness of our GFNet for project-based point cloud semantic segmentation. Concretely, GFNet not only significantly boosts the performance of each individual view but also achieves state-of-the-art results over all existing projection-based models. Code is available at \url{https://github.com/haibo-qiu/GFNet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google