PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud

要約

カラー点群からテクスチャ メッシュを再構築することは重要ですが、困難な作業です。
既存の手法のほとんどは、ぼやけて見えるテクスチャを生成するか、取得が難しい 3D トレーニング データに依存しています。
これに関して、拡散ベースの 2D 修復を介してカラー点群からテクスチャ メッシュを再構築するための新しいフレームワークである PointDreamer を提案します。
具体的には、まずテクスチャなしのメッシュを再構築します。
次に、入力点群を 2D 空間に投影してまばらなマルチビュー イメージを生成し、事前トレーニングされた 2D 拡散モデルを利用して空のピクセルを修復します。
その後、ペイントされた密なイメージのカラーをテクスチャなしのメッシュに投影解除し、最終的なテクスチャ付きメッシュを取得します。
このプロジェクト – インペイント – アンプロジェクト パイプラインは、3D 点群と 2D 拡散モデルの間のギャップを初めて埋めます。
広範な 2D データで事前トレーニングされた強力な 2D 拡散モデルのおかげで、PointDreamer は、まばらな入力やノイズの多い入力に対する高い堅牢性を備えたクリアで高品質のテクスチャを再構築します。
また、ゼロショットなので追加のトレーニングは必要ありません。
さらに、境界領域の不一致の問題に対処するために、Non-Border-First 非投影戦略を設計します。この問題はあまり調査されていませんが、マルチビュー画像から 3D テクスチャを生成する方法でよく発生します。
さまざまな合成データセットと実際にスキャンされたデータセットに対する広範な定性的および定量的実験により、LPIPS スコアが 30% 改善 (0.118 から 0.068) され、ベースライン手法を大幅に上回り、PointDreamer の SoTA パフォーマンスが示されました。
コードは https://github.com/YuQiao0303/PointDreamer にあります。

要約(オリジナル)

Reconstructing textured meshes from colored point clouds is an important but challenging task. Most existing methods yield blurry-looking textures or rely on 3D training data that are hard to acquire. Regarding this, we propose PointDreamer, a novel framework for textured mesh reconstruction from colored point cloud via diffusion-based 2D inpainting. Specifically, we first reconstruct an untextured mesh. Next, we project the input point cloud into 2D space to generate sparse multi-view images, and then inpaint empty pixels utilizing a pre-trained 2D diffusion model. After that, we unproject the colors of the inpainted dense images onto the untextured mesh, thus obtaining the final textured mesh. This project-inpaint-unproject pipeline bridges the gap between 3D point clouds and 2D diffusion models for the first time. Thanks to the powerful 2D diffusion model pre-trained on extensive 2D data, PointDreamer reconstructs clear, high-quality textures with high robustness to sparse or noisy input. Also, it’s zero-shot requiring no extra training. In addition, we design Non-Border-First unprojection strategy to address the border-area inconsistency issue, which is less explored but commonly-occurred in methods that generate 3D textures from multiview images. Extensive qualitative and quantitative experiments on various synthetic and real-scanned datasets show the SoTA performance of PointDreamer, by significantly outperforming baseline methods with 30% improvement in LPIPS score (from 0.118 to 0.068). Code at: https://github.com/YuQiao0303/PointDreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google