A3D: Does Diffusion Dream about 3D Alignment?

要約

私たちは、ジオメトリの配置の観点からテキスト駆動の 3D 生成の問題に取り組みます。
私たちは、セマンティクスとジオメトリの点で一貫した複数のオブジェクトを生成することを目指しています。
スコア蒸留に基づく最近の方法は、2D 拡散モデルから 3D 神経放射フィールドで表される高品質のオブジェクトに知識を蒸留することに成功しました。
これらのメソッドは複数のテキスト クエリを個別に処理するため、結果として得られるオブジェクトのポーズと構造には大きなばらつきがあります。
ただし、ジオメトリ編集などの一部のアプリケーションでは、位置合わせされたオブジェクトを取得することが望ましい場合があります。
位置合わせを達成するために、単一の NeRF 表現を使用してテキスト埋め込みの線形ペアワイズ補間空間をモデル化することにより、位置合わせされたオブジェクト間の連続軌跡を最適化することを提案します。
意味的に対応する部分で構成される類似のオブジェクトが、生成プロセスにコストのかかる変更を加えることなく、3D 空間内で適切に位置合わせできることを実証します。
ジオメトリの位置合わせから恩恵を受けるメッシュ編集やオブジェクトのハイブリダイゼーションなど、いくつかの実用的なシナリオを提供し、この方法の効率性を実験的に実証します。
https://voyleg.github.io/a3d/

要約(オリジナル)

We tackle the problem of text-driven 3D generation from a geometry alignment perspective. We aim at the generation of multiple objects which are consistent in terms of semantics and geometry. Recent methods based on Score Distillation have succeeded in distilling the knowledge from 2D diffusion models to high-quality objects represented by 3D neural radiance fields. These methods handle multiple text queries separately, and therefore, the resulting objects have a high variability in object pose and structure. However, in some applications such as geometry editing, it is desirable to obtain aligned objects. In order to achieve alignment, we propose to optimize the continuous trajectories between the aligned objects, by modeling a space of linear pairwise interpolations of the textual embeddings with a single NeRF representation. We demonstrate that similar objects, consisting of semantically corresponding parts, can be well aligned in 3D space without costly modifications to the generation process. We provide several practical scenarios including mesh editing and object hybridization that benefit from geometry alignment and experimentally demonstrate the efficiency of our method. https://voyleg.github.io/a3d/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google