AToM: Amortized Text-to-Mesh using 2D Diffusion

要約

複数のテキスト プロンプトを同時に最適化するフィードフォワード テキスト to メッシュ フレームワークである Amortized Text-to-Mesh (AToM) を紹介します。
多くの場合、時間のかかるプロンプトごとの最適化を必要とし、ポリゴン メッシュ以外の表現を出力する既存のテキストから 3D 手法とは対照的に、AToM は、トレーニングを約 10 分の 1 に削減し、1 秒未満で高品質のテクスチャ メッシュを直接生成します。
コストを考慮し、目に見えないプロンプトに一般化します。
私たちの重要なアイデアは、安定したトレーニングを保証し、スケーラビリティを可能にする 2 段階の償却最適化戦略を備えた、新しいトリプレーン ベースのテキストからメッシュへのアーキテクチャです。
さまざまな即時ベンチマークでの広範な実験を通じて、AToM は 4 倍を超える精度 (DF415 データセットの場合) で最先端の償却アプローチを大幅に上回り、より識別しやすく高品質な 3D 出力を生成します。
AToM は強力な汎用性を示し、プロンプトごとのソリューションとは異なり、推論中にさらなる最適化を行うことなく、目に見えない補間プロンプトに対してきめ細かい 3D アセットを提供します。

要約(オリジナル)

We introduce Amortized Text-to-Mesh (AToM), a feed-forward text-to-mesh framework optimized across multiple text prompts simultaneously. In contrast to existing text-to-3D methods that often entail time-consuming per-prompt optimization and commonly output representations other than polygonal meshes, AToM directly generates high-quality textured meshes in less than 1 second with around 10 times reduction in the training cost, and generalizes to unseen prompts. Our key idea is a novel triplane-based text-to-mesh architecture with a two-stage amortized optimization strategy that ensures stable training and enables scalability. Through extensive experiments on various prompt benchmarks, AToM significantly outperforms state-of-the-art amortized approaches with over 4 times higher accuracy (in DF415 dataset) and produces more distinguishable and higher-quality 3D outputs. AToM demonstrates strong generalizability, offering finegrained 3D assets for unseen interpolated prompts without further optimization during inference, unlike per-prompt solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google