LRM-Zero: Training Large Reconstruction Models with Synthesized Data

要約

私たちは、合成 3D データに基づいて完全にトレーニングされた大規模再構成モデ​​ル (LRM) である LRM-Zero を紹介し、高品質のスパースビュー 3D 再構成を実現します。
LRM-Zero の中核は、手続き型 3D データセットである Zeroverse です。これは、ランダムなテクスチャリングと拡張 (高さフィールド、ブール差、ワイヤーフレームなど) を備えた単純なプリミティブ形状から自動的に合成されます。
実際の 3D データに近似するために人間によってキャプチャまたは作成されることが多い以前の 3D データセット (Objaverse など) とは異なり、Zeroverse は現実的なグローバル セマンティクスを完全に無視しますが、局所的には実際のオブジェクトと同様、またはそれよりも複雑な複雑な幾何学的およびテクスチャの詳細が豊富です。
。
私たちは、完全に合成された Zeroverse でトレーニングされた LRM-Zero が、Objaverse でトレーニングされたモデルと競合して、現実世界のオブジェクトの再構築において高い視覚品質を達成できることを実証します。
また、LRM-Zero の機能とトレーニングの安定性に寄与する、Zeroverse のいくつかの重要な設計上の選択についても分析します。
私たちの研究は、3D ビジョンの中核タスクの 1 つである 3D 再構成が、現実世界のオブジェクトのセマンティクスなしで潜在的に対処できることを示しています。
Zeroverse の手続き型合成コードとインタラクティブな視覚化は、https://desaixie.github.io/lrm-zero/ で入手できます。

要約(オリジナル)

We present LRM-Zero, a Large Reconstruction Model (LRM) trained entirely on synthesized 3D data, achieving high-quality sparse-view 3D reconstruction. The core of LRM-Zero is our procedural 3D dataset, Zeroverse, which is automatically synthesized from simple primitive shapes with random texturing and augmentations (e.g., height fields, boolean differences, and wireframes). Unlike previous 3D datasets (e.g., Objaverse) which are often captured or crafted by humans to approximate real 3D data, Zeroverse completely ignores realistic global semantics but is rich in complex geometric and texture details that are locally similar to or even more intricate than real objects. We demonstrate that our LRM-Zero, trained with our fully synthesized Zeroverse, can achieve high visual quality in the reconstruction of real-world objects, competitive with models trained on Objaverse. We also analyze several critical design choices of Zeroverse that contribute to LRM-Zero’s capability and training stability. Our work demonstrates that 3D reconstruction, one of the core tasks in 3D vision, can potentially be addressed without the semantics of real-world objects. The Zeroverse’s procedural synthesis code and interactive visualization are available at: https://desaixie.github.io/lrm-zero/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google