DELFlow: Dense Efficient Learning of Scene Flow for Large-Scale Point Clouds

要約

点群は自然にまばらですが、画像ピクセルは密集しています。
この不一致により、点単位のシーン フロー推定のための両方のモダリティからの特徴融合が制限されます。
従来の方法では、メモリの非効率性と、一般的に使用される最遠点サンプリング、KNN、およびローカル フィーチャ集約のためのボール クエリ アルゴリズムに含まれる距離計算と並べ替えによる大きなオーバーヘッドが原因で、1 回の推論でシーンの点群全体からシーン フローを予測することはほとんどありませんでした。
。
シーン フロー学習におけるこれらの問題を軽減するために、3D 座標を 2D グリッドに保存することで、生のポイントを高密度フォーマットに正規化します。
既存の作品で一般的に使用されているサンプリング操作とは異なり、高密度 2D 表現では、1) 与えられたシーン内のほとんどの点が保存され、2) 効率が大幅に向上し、3) 点とピクセル間の密度のギャップが排除され、
効果的な機能の融合。
また、コスト ボリュームを計算する際の投影中に複数の点が 1 つのグリッドにマッピングされる可能性があるという事実から生じる情報損失の問題を軽減する、新しいワーピング投影手法も紹介します。
十分な実験により、我々の方法の効率と有効性が実証され、FlyingThings3D および KITTI データセットに対する従来技術を上回っています。

要約(オリジナル)

Point clouds are naturally sparse, while image pixels are dense. The inconsistency limits feature fusion from both modalities for point-wise scene flow estimation. Previous methods rarely predict scene flow from the entire point clouds of the scene with one-time inference due to the memory inefficiency and heavy overhead from distance calculation and sorting involved in commonly used farthest point sampling, KNN, and ball query algorithms for local feature aggregation. To mitigate these issues in scene flow learning, we regularize raw points to a dense format by storing 3D coordinates in 2D grids. Unlike the sampling operation commonly used in existing works, the dense 2D representation 1) preserves most points in the given scene, 2) brings in a significant boost of efficiency, and 3) eliminates the density gap between points and pixels, allowing us to perform effective feature fusion. We also present a novel warping projection technique to alleviate the information loss problem resulting from the fact that multiple points could be mapped into one grid during projection when computing cost volume. Sufficient experiments demonstrate the efficiency and effectiveness of our method, outperforming the prior-arts on the FlyingThings3D and KITTI dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google