Normal Transformer: Extracting Surface Geometry from LiDAR Points Enhanced by Visual Semantics

要約

表面法線の高品質な推定は、衝突回避やオクルージョン推論など、多くのジオメトリ理解の問題におけるあいまいさを軽減するのに役立ちます。
この論文では、3D 点群と 2D カラー画像から法線を推定する手法を紹介します。
私たちは、視覚的な意味論的データと 3D 幾何学的データのハイブリッド情報の利用方法を学習するトランスフォーマー ニューラル ネットワークと、効果的な学習戦略を開発しました。
既存の方法と比較して、提案方法の情報融合はより効果的であり、それは実験によって裏付けられています。
また、法線推定器をトレーニングするための注釈付きデータを取得するために、3D レンダリング エンジンで屋外の交通シーンのシミュレーション環境を構築しました。
合成データでトレーニングされたモデルは、KITTI データセット内の実際のシーンでテストされます。
そして、KITTI データセット内の推定された法線方向に基づいて構築された後続のタスクは、提案された推定器が既存の方法よりも優れていることを示しています。

要約(オリジナル)

High-quality estimation of surface normal can help reduce ambiguity in many geometry understanding problems, such as collision avoidance and occlusion inference. This paper presents a technique for estimating the normal from 3D point clouds and 2D colour images. We have developed a transformer neural network that learns to utilise the hybrid information of visual semantic and 3D geometric data, as well as effective learning strategies. Compared to existing methods, the information fusion of the proposed method is more effective, which is supported by experiments. We have also built a simulation environment of outdoor traffic scenes in a 3D rendering engine to obtain annotated data to train the normal estimator. The model trained on synthetic data is tested on the real scenes in the KITTI dataset. And subsequent tasks built upon the estimated normal directions in the KITTI dataset show that the proposed estimator has advantage over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google