Few-shot point cloud reconstruction and denoising via learned Guassian splats renderings and fine-tuned diffusion features

要約

点群の再構成とノイズ除去のための既存の深層学習手法は、3D 形状の小さなデータセットに依存しています。
私たちは、数十億の画像で訓練された深層学習手法を活用することで、この問題を回避します。
我々は、画像ベースの深層学習モデルから抽出された事前知識を利用して、少数の画像から点群を再構成し、そのレンダリングから点群のノイズを除去する方法を提案します。
制約設定での再構成を改善するために、セマンティック一貫性監視を導入することで、ハイブリッド サーフェスと外観を備えた微分可能レンダラーのトレーニングを正規化します。
さらに、ノイズの多い点群のレンダリングをノイズ除去するために安定拡散を微調整するパイプラインを提案し、これらの学習済みフィルターを使用して 3D 監視なしで発生する点群ノイズを除去する方法を示します。
私たちの手法を DSS および PointRadiance と比較し、Sketchfab テストセットおよび SCUT データセットでより高品質の 3D 再構成を実現しました。

要約(オリジナル)

Existing deep learning methods for the reconstruction and denoising of point clouds rely on small datasets of 3D shapes. We circumvent the problem by leveraging deep learning methods trained on billions of images. We propose a method to reconstruct point clouds from few images and to denoise point clouds from their rendering by exploiting prior knowledge distilled from image-based deep learning models. To improve reconstruction in constraint settings, we regularize the training of a differentiable renderer with hybrid surface and appearance by introducing semantic consistency supervision. In addition, we propose a pipeline to finetune Stable Diffusion to denoise renderings of noisy point clouds and we demonstrate how these learned filters can be used to remove point cloud noise coming without 3D supervision. We compare our method with DSS and PointRadiance and achieved higher quality 3D reconstruction on the Sketchfab Testset and SCUT Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google