FastPCI: Motion-Structure Guided Fast Point Cloud Frame Interpolation

要約

点群フレーム補間は、フレーム全体の正確なシーン フロー推定とジオメトリ構造の維持を伴う難しいタスクです。
一般的な手法は、事前にトレーニングされた動き推定器や集中的なテスト時間の最適化に依存することが多く、その結果、補間精度が低下したり、推論が長引いたりする結果になります。
この研究では、点群フレーム補間のための Pyramid Convolution-Transformer アーキテクチャを導入する FastPCI を紹介します。
当社のハイブリッド畳み込みトランスフォーマーは、ローカルおよび長距離の特徴学習を向上させ、一方、ピラミッド ネットワークはマルチレベルの特徴を提供し、計算を削減します。
さらに、FastPCI は、より正確なシーン フロー推定のために独自の Dual-Direction Motion-Structure ブロックを提案しています。
私たちの設計は 2 つの事実によって動機付けられています。(1) 正確なシーン フローは 3D 構造を維持します。(2) 前のタイムステップの点群は、将来のタイムステップからの逆モーションを使用して再構築可能である必要があります。
広範な実験により、FastPCI は最先端の PointINet および NeuralPCI を大幅に上回り、顕著な向上 (例: KITTI の面取り距離の 26.6% および 18.3% の削減) を示し、それぞれ 10 倍および 600 倍以上高速であることが示されています。
コードは https://github.com/genuszty/FastPCI で入手できます。

要約(オリジナル)

Point cloud frame interpolation is a challenging task that involves accurate scene flow estimation across frames and maintaining the geometry structure. Prevailing techniques often rely on pre-trained motion estimators or intensive testing-time optimization, resulting in compromised interpolation accuracy or prolonged inference. This work presents FastPCI that introduces Pyramid Convolution-Transformer architecture for point cloud frame interpolation. Our hybrid Convolution-Transformer improves the local and long-range feature learning, while the pyramid network offers multilevel features and reduces the computation. In addition, FastPCI proposes a unique Dual-Direction Motion-Structure block for more accurate scene flow estimation. Our design is motivated by two facts: (1) accurate scene flow preserves 3D structure, and (2) point cloud at the previous timestep should be reconstructable using reverse motion from future timestep. Extensive experiments show that FastPCI significantly outperforms the state-of-the-art PointINet and NeuralPCI with notable gains (e.g. 26.6% and 18.3% reduction in Chamfer Distance in KITTI), while being more than 10x and 600x faster, respectively. Code is available at https://github.com/genuszty/FastPCI

arxiv情報

提供元, 利用サービス

arxiv.jp, Google