3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling

要約

LiDAR点群から3Dシーンフローを学習することは、合成データセットから実シーンへの汎化性の低さ、実世界の3Dラベルの希少性、実際の疎なLiDAR点群に対するパフォーマンスの低さなど、大きな困難を伴う。我々はオートラベリングの観点から、実世界のLiDAR点群に対して多数の3Dシーンフロー擬似ラベルを生成することを目的とした新しいアプローチを提示する。具体的には、自律走行シナリオにおける潜在的な物体レベルの剛体運動をシミュレートするために、剛体運動の仮定を採用する。複数のアンカーボックスに対して異なる運動属性を更新することにより、シーン全体に対する剛体運動分解を得る。さらに、大局的・局所的動きのための新しい3Dシーンフローデータ補強法を開発した。拡張された動きパラメータに基づいてターゲット点群を完全に合成することにより、実シーンに非常に一致した点群中の多くの3Dシーンフローラベルを容易に得ることができる。LiDAR KITTI、nuScenes、Argoverseを含む複数の実世界データセットにおいて、本手法は、手動によるラベル付けを必要とすることなく、これまでの教師あり、教師なし手法を凌駕した。印象的なことに、我々の手法はLiDAR KITTIデータセットにおいてEPE3Dメトリックを10倍削減し、$0.190m$からわずか$0.008m$の誤差に削減しました。

要約(オリジナル)

Learning 3D scene flow from LiDAR point clouds presents significant difficulties, including poor generalization from synthetic datasets to real scenes, scarcity of real-world 3D labels, and poor performance on real sparse LiDAR point clouds. We present a novel approach from the perspective of auto-labelling, aiming to generate a large number of 3D scene flow pseudo labels for real-world LiDAR point clouds. Specifically, we employ the assumption of rigid body motion to simulate potential object-level rigid movements in autonomous driving scenarios. By updating different motion attributes for multiple anchor boxes, the rigid motion decomposition is obtained for the whole scene. Furthermore, we developed a novel 3D scene flow data augmentation method for global and local motion. By perfectly synthesizing target point clouds based on augmented motion parameters, we easily obtain lots of 3D scene flow labels in point clouds highly consistent with real scenarios. On multiple real-world datasets including LiDAR KITTI, nuScenes, and Argoverse, our method outperforms all previous supervised and unsupervised methods without requiring manual labelling. Impressively, our method achieves a tenfold reduction in EPE3D metric on the LiDAR KITTI dataset, reducing it from $0.190m$ to a mere $0.008m$ error.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL