LRM-Zero: Training Large Reconstruction Models with Synthesized Data

要約

LRM-ZEROは、合成された3Dデータのみで学習され、高品質なスパースビュー3D再構成を実現する大規模再構成モデル（LRM）である。LRM-Zeroの中核となるのは、我々の手続き型3DデータセットであるZeroverseであり、ランダムなテクスチャリングとオーグメンテーション（高さフィールド、ブーリアン差分、ワイヤフレームなど）を持つ単純なプリミティブ形状から自動的に合成される。Zeroverseは、現実の3Dデータを近似するために人間がキャプチャしたり作成したりすることが多いこれまでの3Dデータセット（Objaverseなど）とは異なり、現実的なグローバルなセマンティクスを完全に無視しているが、複雑な幾何学的およびテクスチャの詳細が豊富であり、局所的には現実のオブジェクトに似ているか、それ以上に複雑である。我々は、完全に合成されたZeroverseを用いて訓練された我々のLRM-Zeroが、Objaverseで訓練されたモデルに引けを取らない、実世界の物体の再構成において高い視覚的品質を達成できることを実証する。また、LRM-Zeroの能力と学習の安定性に寄与するZeroverseのいくつかの重要な設計上の選択を分析する。我々の研究は、3Dビジョンのコアタスクの1つである3D再構成が、実世界オブジェクトのセマンティクスなしで対処できる可能性があることを示している。Zeroverseの手続き型合成コードと対話型可視化は、https://desaixie.github.io/lrm-zero/。

要約(オリジナル)

We present LRM-Zero, a Large Reconstruction Model (LRM) trained entirely on synthesized 3D data, achieving high-quality sparse-view 3D reconstruction. The core of LRM-Zero is our procedural 3D dataset, Zeroverse, which is automatically synthesized from simple primitive shapes with random texturing and augmentations (e.g., height fields, boolean differences, and wireframes). Unlike previous 3D datasets (e.g., Objaverse) which are often captured or crafted by humans to approximate real 3D data, Zeroverse completely ignores realistic global semantics but is rich in complex geometric and texture details that are locally similar to or even more intricate than real objects. We demonstrate that our LRM-Zero, trained with our fully synthesized Zeroverse, can achieve high visual quality in the reconstruction of real-world objects, competitive with models trained on Objaverse. We also analyze several critical design choices of Zeroverse that contribute to LRM-Zero’s capability and training stability. Our work demonstrates that 3D reconstruction, one of the core tasks in 3D vision, can potentially be addressed without the semantics of real-world objects. The Zeroverse’s procedural synthesis code and interactive visualization are available at: https://desaixie.github.io/lrm-zero/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL