Img2CAD: Conditioned 3D CAD Model Generation from Single Image with Structured Visual Geometry

要約

本稿では、編集可能なパラメータを持つCADモデルを生成するために2D画像入力を使用する、我々の知る限り初のアプローチであるImg2CADを提案する。テキストまたは画像入力を用いた3Dモデル生成のための既存のAI手法とは異なり、Img2CADはAIベースの3D再構成とCADソフトウェアとのシームレスな統合を可能にする。我々は、オブジェクトから抽出されたベクトル化されたワイヤーフレームを特徴とする、構造化ビジュアルジオメトリ（SVG）と呼ばれる革新的な中間表現を特定した。この表現は、条件付きCADモデルの生成性能を大幅に向上させる。さらに、この分野の研究をさらに支援するために、2つの新しいデータセットを紹介する：ABC-monoは、20万以上の3次元CADモデルとレンダリング画像から構成される最大規模のデータセットであり、KOCADは、条件付きCADモデル生成のさらなる研究を支援する、実世界でキャプチャされたオブジェクトとそのグランドトゥルースCADモデルを含む最初のデータセットである。

要約(オリジナル)

In this paper, we propose Img2CAD, the first approach to our knowledge that uses 2D image inputs to generate CAD models with editable parameters. Unlike existing AI methods for 3D model generation using text or image inputs often rely on mesh-based representations, which are incompatible with CAD tools and lack editability and fine control, Img2CAD enables seamless integration between AI-based 3D reconstruction and CAD software. We have identified an innovative intermediate representation called Structured Visual Geometry (SVG), characterized by vectorized wireframes extracted from objects. This representation significantly enhances the performance of generating conditioned CAD models. Additionally, we introduce two new datasets to further support research in this area: ABC-mono, the largest known dataset comprising over 200,000 3D CAD models with rendered images, and KOCAD, the first dataset featuring real-world captured objects alongside their ground truth CAD models, supporting further research in conditioned CAD model generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL