From Flat to Spatial: Comparison of 4 methods constructing 3D, 2 and 1/2D Models from 2D Plans with neural networks

要約

建築の分野では、単一の画像を 2、1/2D、および 3D メッシュに変換することは、設計の視覚化と効率を向上させる有望なテクノロジーです。
このペーパーでは、「One-2-3-45」、「CRM: 畳み込み再構成モデ​​ルを使用した単一画像から 3D テクスチャ メッシュへの変換」、「インスタント メッシュ」、および「画像からメッシュへ」の 4 つの革新的な方法を評価します。
これらの手法はこのテクノロジーの最前線にあり、建築設計と視覚化への適用性に焦点を当てています。
これらは 3D 建築モデルの作成を合理化し、写真や単純なスケッチなどの最小限の初期入力から迅速なプロトタイピングと詳細な視覚化を可能にします。One-2-3-45 は拡散ベースのアプローチを活用してマルチビューの再構成を生成し、高度な幾何学的形状を保証します。
忠実度と質感の品質。
CRM は畳み込みネットワークを利用して幾何学的事前分布をそのアーキテクチャに統合し、詳細でテクスチャーのあるメッシュを迅速かつ効率的に生成します。
インスタント メッシュは、マルチビュー拡散モデルとスパース ビュー モデルの長所を組み合わせて、さまざまな建築プロジェクトに適した速度と拡張性を提供します。
Image-to-Mesh は、敵対的生成ネットワーク (GAN) を利用して単一の画像から 3D メッシュを生成し、画像と深度マップのデータをトレーニング プロセスに組み込むことで、高いテクスチャ忠実度と幾何学的精度を維持することに重点を置いています。
ボクセルベースの表現とサーフェス再構成技術を組み合わせたハイブリッド アプローチを使用して、詳細でリアルな 3D モデルを保証します。この比較研究では、設計サイクル タイムの短縮、精度の向上、さまざまなアーキテクチャ スタイルと要件への柔軟な適応の可能化に対する各手法の貢献に焦点を当てています。
迅速な視覚化と反復のための強力なツールを建築家に提供することにより、3D メッシュ生成におけるこれらの進歩は建築実務に革命を起こすことになります。

要約(オリジナル)

In the field of architecture, the conversion of single images into 2 and 1/2D and 3D meshes is a promising technology that enhances design visualization and efficiency. This paper evaluates four innovative methods: ‘One-2-3-45,’ ‘CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model,’ ‘Instant Mesh,’ and ‘Image-to-Mesh.’ These methods are at the forefront of this technology, focusing on their applicability in architectural design and visualization. They streamline the creation of 3D architectural models, enabling rapid prototyping and detailed visualization from minimal initial inputs, such as photographs or simple sketches.One-2-3-45 leverages a diffusion-based approach to generate multi-view reconstructions, ensuring high geometric fidelity and texture quality. CRM utilizes a convolutional network to integrate geometric priors into its architecture, producing detailed and textured meshes quickly and efficiently. Instant Mesh combines the strengths of multi-view diffusion and sparse-view models to offer speed and scalability, suitable for diverse architectural projects. Image-to-Mesh leverages a generative adversarial network (GAN) to produce 3D meshes from single images, focusing on maintaining high texture fidelity and geometric accuracy by incorporating image and depth map data into its training process. It uses a hybrid approach that combines voxel-based representations with surface reconstruction techniques to ensure detailed and realistic 3D models.This comparative study highlights each method’s contribution to reducing design cycle times, improving accuracy, and enabling flexible adaptations to various architectural styles and requirements. By providing architects with powerful tools for rapid visualization and iteration, these advancements in 3D mesh generation are set to revolutionize architectural practices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google