Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction

要約

Dust3Rは最近、カメラの内在性と外的性論の推定、3Dのシーンの再構築、画像対応の確立など、マルチビュージオメトリの多くのタスクを減らすことができることを示しています。
この定式化はエレガントで強力ですが、ダイナミックなシーンに取り組むことはできません。
この課題に対処するために、動的ポイントマップ（DPM）の概念を紹介し、標準ポイントマップを拡張して、モーションセグメンテーション、シーンフロー推定、3Dオブジェクト追跡、2D対応などの4Dタスクをサポートします。
私たちの重要な直感は、時間が導入されると、ポイントマップを定義するために使用できるいくつかの可能な空間的および時間参照があることです。
上記のサブタスクを解決するためにネットワークによって回帰できるような組み合わせの最小限のサブセットを特定します。
合成データと実際のデータの混合物でDPM予測因子をトレーニングし、ビデオ深度予測、動的ポイントクラウドの再構築、3Dシーンフロー、オブジェクトのポーズ追跡のために、多様なベンチマーク全体で評価し、最先端のパフォーマンスを実現します。
コード、モデル、および追加の結果は、https：//www.robots.ox.ac.uk/~vgg/research/dynamic-point-maps/で入手できます。

要約(オリジナル)

DUSt3R has recently shown that one can reduce many tasks in multi-view geometry, including estimating camera intrinsics and extrinsics, reconstructing the scene in 3D, and establishing image correspondences, to the prediction of a pair of viewpoint-invariant point maps, i.e., pixel-aligned point clouds defined in a common reference frame. This formulation is elegant and powerful, but unable to tackle dynamic scenes. To address this challenge, we introduce the concept of Dynamic Point Maps (DPM), extending standard point maps to support 4D tasks such as motion segmentation, scene flow estimation, 3D object tracking, and 2D correspondence. Our key intuition is that, when time is introduced, there are several possible spatial and time references that can be used to define the point maps. We identify a minimal subset of such combinations that can be regressed by a network to solve the sub tasks mentioned above. We train a DPM predictor on a mixture of synthetic and real data and evaluate it across diverse benchmarks for video depth prediction, dynamic point cloud reconstruction, 3D scene flow and object pose tracking, achieving state-of-the-art performance. Code, models and additional results are available at https://www.robots.ox.ac.uk/~vgg/research/dynamic-point-maps/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google