CCD-3DR: Consistent Conditioning in Diffusion for Single-Image 3D Reconstruction

要約

この論文では、拡散モデルを利用して、単一の RGB 画像でキャプチャされたオブジェクトの 3D まばらな点群を生成する新しい形状再構成方法を紹介します。
最近の手法は通常、拡散モデルをガイドする条件として、グローバル埋め込みまたはローカル投影ベースの特徴を利用します。
ただし、このような戦略では、ノイズ除去された点群を所定の画像と一貫して位置合わせすることができず、調整が不安定になり、パフォーマンスが低下します。
この論文では、一貫した局所特徴条件付けのための新しい中心拡散確率モデルを利用する CCD-3DR を紹介します。
拡散モデルからのノイズとサンプリングされた点群を、順拡散プロセスと逆拡散プロセス中に点群の中心が変化しない部分空間に制約します。
安定した点群中心はさらに、各点を対応するローカル投影ベースのフィーチャと位置合わせするためのアンカーとして機能します。
合成ベンチマーク ShapeNet-R2N2 での広範な実験により、CCD-3DR がすべての競合製品を大幅に上回り、40% 以上の改善が見られることが実証されました。
また、実世界のアプリケーションにおける CCD-3DR の可能性を徹底的に実証するために、実世界のデータセット Pix3D に関する結果も提供します。
コードは近日公開予定です

要約(オリジナル)

In this paper, we present a novel shape reconstruction method leveraging diffusion model to generate 3D sparse point cloud for the object captured in a single RGB image. Recent methods typically leverage global embedding or local projection-based features as the condition to guide the diffusion model. However, such strategies fail to consistently align the denoised point cloud with the given image, leading to unstable conditioning and inferior performance. In this paper, we present CCD-3DR, which exploits a novel centered diffusion probabilistic model for consistent local feature conditioning. We constrain the noise and sampled point cloud from the diffusion model into a subspace where the point cloud center remains unchanged during the forward diffusion process and reverse process. The stable point cloud center further serves as an anchor to align each point with its corresponding local projection-based features. Extensive experiments on synthetic benchmark ShapeNet-R2N2 demonstrate that CCD-3DR outperforms all competitors by a large margin, with over 40% improvement. We also provide results on real-world dataset Pix3D to thoroughly demonstrate the potential of CCD-3DR in real-world applications. Codes will be released soon

arxiv情報

提供元, 利用サービス

arxiv.jp, Google