D^2USt3R: Enhancing 3D Reconstruction with 4D Pointmaps for Dynamic Scenes

要約

動的シーンでの3D再構成のタスクに対処します。オブジェクトの動きは、もともと静的3Dシーンの再構築用に設計されたDust3Rなどの以前の3Dポイントマップ回帰法の品質を分解します。
これらの方法は、静的な設定でエレガントで強力なソリューションを提供しますが、カメラのポーズのみに基づいてアラインメントを破壊する動的な動きの存在下で苦労しています。
これを克服するために、静的と動的3Dシーンの両方のジオメトリをフィードフォワードに同時にキャプチャする4Dポイントマップを回帰するD^2UST3Rを提案します。
空間的側面と時間的側面の両方を明示的に組み込むことにより、私たちのアプローチは、提案された4Dポイントマップへの時空間的密度の対応をうまくカプセル化し、ダウンストリームタスクを強化します。
広範な実験的評価は、提案されたアプローチが複雑な動きを特徴とするさまざまなデータセットで一貫して優れた再構成パフォーマンスを達成することを示しています。

要約(オリジナル)

We address the task of 3D reconstruction in dynamic scenes, where object motions degrade the quality of previous 3D pointmap regression methods, such as DUSt3R, originally designed for static 3D scene reconstruction. Although these methods provide an elegant and powerful solution in static settings, they struggle in the presence of dynamic motions that disrupt alignment based solely on camera poses. To overcome this, we propose D^2USt3R that regresses 4D pointmaps that simultaneiously capture both static and dynamic 3D scene geometry in a feed-forward manner. By explicitly incorporating both spatial and temporal aspects, our approach successfully encapsulates spatio-temporal dense correspondence to the proposed 4D pointmaps, enhancing downstream tasks. Extensive experimental evaluations demonstrate that our proposed approach consistently achieves superior reconstruction performance across various datasets featuring complex motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google