RFNet-4D++: Joint Object Reconstruction and Flow Estimation from 4D Point Clouds with Cross-Attention Spatio-Temporal Features

要約

3D 点群からのオブジェクトの再構成は、コンピュータ ビジョンおよびコンピュータ グラフィックスにおける長年の研究課題であり、目覚ましい進歩を遂げました。
ただし、時間変化する点群 (別名 4D 点群) からの再構成は一般に見落とされます。
この論文では、4D 点群からオブジェクトとそのモーション フローを共同で再構築する新しいネットワーク アーキテクチャ、つまり RFNet-4D++ を提案します。
重要な洞察は、一連の点群から空間的および時間的特徴を学習することで両方のタスクを同時に実行することで、個々のタスクを活用でき、全体的なパフォーマンスの向上につながります。
この能力を証明するために、物体再構成のための空間構造の教師あり学習を活用した、フロー推定タスクの教師なし学習アプローチを使用して、時間ベクトル場学習モジュールを設計します。
ベンチマーク データセットに関する広範な実験と分析により、私たちの手法の有効性と効率性が検証されました。
実験結果に示されているように、私たちの方法は、トレーニングと推論の両方で既存の方法よりもはるかに高速に実行しながら、フロー推定とオブジェクト再構築の両方で最先端のパフォーマンスを達成します。
コードとデータは https://github.com/hkust-vgd/RFNet-4D で入手できます。

要約(オリジナル)

Object reconstruction from 3D point clouds has been a long-standing research problem in computer vision and computer graphics, and achieved impressive progress. However, reconstruction from time-varying point clouds (a.k.a. 4D point clouds) is generally overlooked. In this paper, we propose a new network architecture, namely RFNet-4D++, that jointly reconstructs objects and their motion flows from 4D point clouds. The key insight is simultaneously performing both tasks via learning of spatial and temporal features from a sequence of point clouds can leverage individual tasks, leading to improved overall performance. To prove this ability, we design a temporal vector field learning module using an unsupervised learning approach for flow estimation task, leveraged by supervised learning of spatial structures for object reconstruction. Extensive experiments and analyses on benchmark datasets validated the effectiveness and efficiency of our method. As shown in experimental results, our method achieves state-of-the-art performance on both flow estimation and object reconstruction while performing much faster than existing methods in both training and inference. Our code and data are available at https://github.com/hkust-vgd/RFNet-4D

arxiv情報

提供元, 利用サービス

arxiv.jp, Google