PlantDreamer: Achieving Realistic 3D Plant Models with Diffusion-Guided Gaussian Splatting

要約

近年、AIを使用して合成3Dオブジェクトを生成する能力が大幅に改善されています。
ただし、植物などの複雑な3Dオブジェクトを生成することは、かなりの課題のままです。
現在の生成3Dモデルは、一般的なオブジェクトと比較して植物の生成と闘い、植物分析ツールでの使いやすさを制限します。
PlantDreamerは、3D合成植物の生成への新しいアプローチを紹介します。これは、利用可能なテキストから3Dモデルよりも、複雑な植物の幾何学とテクスチャのリアリズムのレベルを高めることができます。
これを達成するために、当社の新世代のパイプラインは、深さコントロールネット、微調整された低ランク適応、および生成された3Dプラントモデルのテクスチャリアリズムと幾何学的整合性を直接改善する適応可能なガウスカリングアルゴリズムを活用します。
さらに、PlantDreamerは、L-Systemで生成されたメッシュを活用することにより、純粋に合成植物の生成と、それらを3Dガウススプラットに変換することにより、実際の植物点雲の強化を実現します。
出力を最先端のテキストから3Dモデルと比較することでアプローチを評価し、PlantDreamerが高忠実度の合成植物を生産する際に既存の方法を上回ることを示しています。
我々の結果は、私たちのアプローチが合成植物の生成を進めるだけでなく、レガシーポイントクラウドデータセットのアップグレードを促進し、3D表現型アプリケーションの貴重なツールになっていることを示しています。

要約(オリジナル)

Recent years have seen substantial improvements in the ability to generate synthetic 3D objects using AI. However, generating complex 3D objects, such as plants, remains a considerable challenge. Current generative 3D models struggle with plant generation compared to general objects, limiting their usability in plant analysis tools, which require fine detail and accurate geometry. We introduce PlantDreamer, a novel approach to 3D synthetic plant generation, which can achieve greater levels of realism for complex plant geometry and textures than available text-to-3D models. To achieve this, our new generation pipeline leverages a depth ControlNet, fine-tuned Low-Rank Adaptation and an adaptable Gaussian culling algorithm, which directly improve textural realism and geometric integrity of generated 3D plant models. Additionally, PlantDreamer enables both purely synthetic plant generation, by leveraging L-System-generated meshes, and the enhancement of real-world plant point clouds by converting them into 3D Gaussian Splats. We evaluate our approach by comparing its outputs with state-of-the-art text-to-3D models, demonstrating that PlantDreamer outperforms existing methods in producing high-fidelity synthetic plants. Our results indicate that our approach not only advances synthetic plant generation, but also facilitates the upgrading of legacy point cloud datasets, making it a valuable tool for 3D phenotyping applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google