Flex3D: Feed-Forward 3D Generation with Flexible Reconstruction Model and Input View Curation

要約

テキスト、単一の画像、またはスパースビュー画像から高品質の3Dコンテンツを生成することは、幅広いアプリケーションでの挑戦的なタスクのままです。
既存の方法は通常、マルチビュー拡散モデルを使用してマルチビュー画像を合成し、その後3D再構成のためのフィードフォワードプロセスが続きます。
しかし、これらのアプローチは、多くの場合、少数の固定数の入力ビューによって制約され、多様な視点を捉える能力を制限し、さらに悪いことに、合成されたビューの質が低い場合、最適でない生成の結果につながります。
これらの制限に対処するために、任意の数の高品質の入力ビューを活用できる新しい2段階のフレームワークであるFlex3Dを提案します。
最初の段階は、候補者のビュー生成とキュレーションパイプラインで構成されています。
微調整されたマルチビュー画像拡散モデルとビデオ拡散モデルを使用して、候補ビューのプールを生成し、ターゲット3Dオブジェクトの豊富な表現を可能にします。
その後、ビュー選択パイプラインは、品質と一貫性に基づいてこれらのビューをフィルタリングし、再構築に高品質で信頼性の高いビューのみが使用されるようにします。
第2段階では、キュレーションされたビューは、任意の数の入力を効果的に処理できるトランスアーキテクチャの上に構築された柔軟な再構築モデル（FlexRM）に供給されます。
FLEMRMは、3Dガウスポイントを直接出力し、3面表現を活用し、効率的で詳細な3D生成を可能にします。
設計とトレーニング戦略の広範な調査を通じて、FlexRMを最適化して、再構築と生成タスクの両方で優れたパフォーマンスを実現します。
我々の結果は、Flex3Dが最新のパフォーマンスを達成し、ユーザーの学習では、最新のフィードフォワード3D生成モデルのいくつかと比較した場合、3D世代のタスクで92％を超える勝利率が得られたことを示しています。

要約(オリジナル)

Generating high-quality 3D content from text, single images, or sparse view images remains a challenging task with broad applications. Existing methods typically employ multi-view diffusion models to synthesize multi-view images, followed by a feed-forward process for 3D reconstruction. However, these approaches are often constrained by a small and fixed number of input views, limiting their ability to capture diverse viewpoints and, even worse, leading to suboptimal generation results if the synthesized views are of poor quality. To address these limitations, we propose Flex3D, a novel two-stage framework capable of leveraging an arbitrary number of high-quality input views. The first stage consists of a candidate view generation and curation pipeline. We employ a fine-tuned multi-view image diffusion model and a video diffusion model to generate a pool of candidate views, enabling a rich representation of the target 3D object. Subsequently, a view selection pipeline filters these views based on quality and consistency, ensuring that only the high-quality and reliable views are used for reconstruction. In the second stage, the curated views are fed into a Flexible Reconstruction Model (FlexRM), built upon a transformer architecture that can effectively process an arbitrary number of inputs. FlemRM directly outputs 3D Gaussian points leveraging a tri-plane representation, enabling efficient and detailed 3D generation. Through extensive exploration of design and training strategies, we optimize FlexRM to achieve superior performance in both reconstruction and generation tasks. Our results demonstrate that Flex3D achieves state-of-the-art performance, with a user study winning rate of over 92% in 3D generation tasks when compared to several of the latest feed-forward 3D generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google