LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image

要約

大規模再構成モデ​​ルは、単一または複数の入力画像からの自動 3D コンテンツ生成の領域で大きな進歩を遂げました。
これらのモデルは成功しているにもかかわらず、画像データのみから 3D 形状を推定するという固有の課題に起因して、幾何学的な不正確な 3D メッシュが生成されることがよくあります。
この研究では、3D 点群データを利用して生成された 3D メッシュの忠実度を高める、新しいフレームワークである Large Image and Point Cloud Alignment Model (LAM3D) を紹介します。
私たちの方法論は、正確で意味のある潜在トライプレーンを効果的に生成する点群ベースのネットワークの開発から始まり、正確な 3D メッシュ再構成の基礎を築きます。
これに基づいて、当社の画像点群特徴位置合わせ技術は単一の入力画像を処理し、潜在的な三面に位置合わせして画像特徴に堅牢な 3D 情報を吹き込みます。
このプロセスは、画像の特徴を豊かにするだけでなく、マルチビュー入力を必要とせずに忠実度の高い 3D メッシュの作成を容易にし、幾何学的歪みを大幅に軽減します。
私たちのアプローチは、単一の画像からわずか 6 秒で最先端の高忠実度 3D メッシュ再構成を実現し、さまざまなデータセットでの実験によりその有効性が実証されています。

要約(オリジナル)

Large Reconstruction Models have made significant strides in the realm of automated 3D content generation from single or multiple input images. Despite their success, these models often produce 3D meshes with geometric inaccuracies, stemming from the inherent challenges of deducing 3D shapes solely from image data. In this work, we introduce a novel framework, the Large Image and Point Cloud Alignment Model (LAM3D), which utilizes 3D point cloud data to enhance the fidelity of generated 3D meshes. Our methodology begins with the development of a point-cloud-based network that effectively generates precise and meaningful latent tri-planes, laying the groundwork for accurate 3D mesh reconstruction. Building upon this, our Image-Point-Cloud Feature Alignment technique processes a single input image, aligning to the latent tri-planes to imbue image features with robust 3D information. This process not only enriches the image features but also facilitates the production of high-fidelity 3D meshes without the need for multi-view input, significantly reducing geometric distortions. Our approach achieves state-of-the-art high-fidelity 3D mesh reconstruction from a single image in just 6 seconds, and experiments on various datasets demonstrate its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google