PhyCAGE: Physically Plausible Compositional 3D Asset Generation from a Single Image

要約

単一の画像から物理的に妥当な構成 3D アセットを生成するための最初のアプローチである PhyCAGE を紹介します。
入力画像が与えられると、まずアセットのコンポーネントに対して一貫したマルチビュー画像を生成します。
これらの画像は、3D ガウス スプラッティング表現に適合されます。
オブジェクトを表すガウス分布が相互に物理的に互換性があることを確認するために、物理シミュレーション強化スコア蒸留サンプリング (PSE-SDS) 手法を導入して、ガウス分布の位置をさらに最適化します。
これは、SDS 損失の勾配を物理シミュレーションの初速度として設定することで実現され、シミュレーターがガウスの位置を物理的に互換性のある状態に徐々に修正する物理ガイド付きオプティマイザーとして機能できるようになります。
実験結果は、提案された方法が単一の画像を与えられて物理的に妥当な構成の 3D アセットを生成できることを示しています。

要約(オリジナル)

We present PhyCAGE, the first approach for physically plausible compositional 3D asset generation from a single image. Given an input image, we first generate consistent multi-view images for components of the assets. These images are then fitted with 3D Gaussian Splatting representations. To ensure that the Gaussians representing objects are physically compatible with each other, we introduce a Physical Simulation-Enhanced Score Distillation Sampling (PSE-SDS) technique to further optimize the positions of the Gaussians. It is achieved by setting the gradient of the SDS loss as the initial velocity of the physical simulation, allowing the simulator to act as a physics-guided optimizer that progressively corrects the Gaussians’ positions to a physically compatible state. Experimental results demonstrate that the proposed method can generate physically plausible compositional 3D assets given a single image.

arxiv情報

著者 Han Yan,Mingrui Zhang,Yang Li,Chao Ma,Pan Ji
発行日 2024-11-27 17:50:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク