WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes

要約

3D再建技術の急速な発展により、4D再建の研究も進歩しています。既存の4D再構成方法は、高品質の4Dシーンを生成する可能性があります。
ただし、マルチビュービデオデータを取得する際の課題により、現在の4D再構成ベンチマークは、限られたシナリオ内で、ダンスなどの実施されたアクションを主に表示します。
実際のシナリオでは、多くのシーンには広範囲の空間的な動きが含まれ、既存の4D再構成データセットの制限を強調しています。
さらに、既存の4D再構築方法は、3Dオブジェクトのダイナミクスを推定するために変形場に依存していますが、変形場は広範囲の空間的動きに苦しんでおり、広範囲の空間的動きで高品質の4Dシーン再構成を達成する能力を制限します。
このホワイトペーパーでは、重要なオブジェクトの空間的な動きを備えた4Dシーンの再構築に焦点を当て、新しい4D再構成ベンチマークwiderange4dを提案します。
このベンチマークには、大規模な空間的変動を備えたリッチ4Dシーンデータが含まれており、4D生成方法の生成能力をより包括的に評価できるようになります。
さらに、さまざまな複雑な4Dシーン再構成タスクで安定した高品質の4D結果を生成する新しい4D再構築方法であるProgress4Dを導入します。
Widerange4Dで定量的比較実験と定性的比較の両方の実験を実施しており、Progress4Dが既存の最先端の4D再構築方法を上回ることを示しています。
プロジェクト：https：//github.com/gen-verse/widerange4d

要約(オリジナル)

With the rapid development of 3D reconstruction technology, research in 4D reconstruction is also advancing, existing 4D reconstruction methods can generate high-quality 4D scenes. However, due to the challenges in acquiring multi-view video data, the current 4D reconstruction benchmarks mainly display actions performed in place, such as dancing, within limited scenarios. In practical scenarios, many scenes involve wide-range spatial movements, highlighting the limitations of existing 4D reconstruction datasets. Additionally, existing 4D reconstruction methods rely on deformation fields to estimate the dynamics of 3D objects, but deformation fields struggle with wide-range spatial movements, which limits the ability to achieve high-quality 4D scene reconstruction with wide-range spatial movements. In this paper, we focus on 4D scene reconstruction with significant object spatial movements and propose a novel 4D reconstruction benchmark, WideRange4D. This benchmark includes rich 4D scene data with large spatial variations, allowing for a more comprehensive evaluation of the generation capabilities of 4D generation methods. Furthermore, we introduce a new 4D reconstruction method, Progress4D, which generates stable and high-quality 4D results across various complex 4D scene reconstruction tasks. We conduct both quantitative and qualitative comparison experiments on WideRange4D, showing that our Progress4D outperforms existing state-of-the-art 4D reconstruction methods. Project: https://github.com/Gen-Verse/WideRange4D

arxiv情報

提供元, 利用サービス

arxiv.jp, Google