Art3D: Training-Free 3D Generation from Flat-Colored Illustration

要約

大規模な事前訓練を受けた画像から3Dの生成モデルは、多様な形状の世代に顕著な能力を示しています。
しかし、彼らのほとんどは、アートコンテンツの作成において最もユーザーフレンドリーな入力モダリティである3D幻想がないため、参照画像が手図面のようにフラットカラーである場合、もっともらしい3Dアセットを合成するのに苦労しています。
この目的のために、ART3Dを提案します。ART3Dは、フラットカラーの2Dデザインを3Dに持ち上げることができるトレーニングなしの方法です。
事前に訓練された2D画像生成モデルとVLMベースのリアリズム評価を備えた構造およびセマンティックの特徴を活用することにより、ART3Dは参照画像の3次元の幻想を成功させるため、2Dから3Dを生成するプロセスを簡素化し、幅広い絵画スタイルに適応できることが証明されます。
3D感覚なしのフラット色の画像上の既存の画像から3Dモデルの一般化パフォーマンスをベンチマークするために、100を超えるサンプルを備えた新しいデータセットFLAT-2Dを収集します。
実験結果は、ART3Dのパフォーマンスと堅牢性を示しており、優れた一般化可能な能力と有望な実用的な適用性を示しています。
ソースコードとデータセットは、プロジェクトページhttps：//joy-jy11.github.io/で公開されます。

要約(オリジナル)

Large-scale pre-trained image-to-3D generative models have exhibited remarkable capabilities in diverse shape generations. However, most of them struggle to synthesize plausible 3D assets when the reference image is flat-colored like hand drawings due to the lack of 3D illusion, which are often the most user-friendly input modalities in art content creation. To this end, we propose Art3D, a training-free method that can lift flat-colored 2D designs into 3D. By leveraging structural and semantic features with pre- trained 2D image generation models and a VLM-based realism evaluation, Art3D successfully enhances the three-dimensional illusion in reference images, thus simplifying the process of generating 3D from 2D, and proves adaptable to a wide range of painting styles. To benchmark the generalization performance of existing image-to-3D models on flat-colored images without 3D feeling, we collect a new dataset, Flat-2D, with over 100 samples. Experimental results demonstrate the performance and robustness of Art3D, exhibiting superior generalizable capacity and promising practical applicability. Our source code and dataset will be publicly available on our project page: https://joy-jy11.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google