DNF: Unconditional 4D Generation with Dictionary-based Neural Fields

要約

拡散ベースの形状の 3D 生成モデルによって目覚ましい成功が達成されましたが、4D 生成モデリングは、時間の経過とともにオブジェクトが変形する複雑さのため、依然として課題が残っています。
私たちは、無条件生成モデリングのための新しい 4D 表現である DNF を提案します。これは、変形するオブジェクトの高忠実度の詳細をキャプチャしながら、もつれのない形状と動きで変形可能な形状を効率的にモデル化します。
これを達成するために、我々は 4D モーションをニューラル フィールドとしての形状から解きほぐす辞書学習アプローチを提案します。
形状と動きは両方とも学習された潜在空間として表され、各変形可能な形状はその形状と動きのグローバル潜在コード、形状固有の係数ベクトル、および共有辞書情報によって表されます。
これにより、形状固有の詳細とグローバルに共有された情報の両方が学習された辞書に取り込まれます。
私たちの辞書ベースの表現は、忠実度、連続性、圧縮のバランスが取れており、トランスフォーマーベースの拡散モデルと組み合わせることで、私たちの方法は効果的で忠実度の高い 4D アニメーションを生成できます。

要約(オリジナル)

While remarkable success has been achieved through diffusion-based 3D generative models for shapes, 4D generative modeling remains challenging due to the complexity of object deformations over time. We propose DNF, a new 4D representation for unconditional generative modeling that efficiently models deformable shapes with disentangled shape and motion while capturing high-fidelity details in the deforming objects. To achieve this, we propose a dictionary learning approach to disentangle 4D motion from shape as neural fields. Both shape and motion are represented as learned latent spaces, where each deformable shape is represented by its shape and motion global latent codes, shape-specific coefficient vectors, and shared dictionary information. This captures both shape-specific detail and global shared information in the learned dictionary. Our dictionary-based representation well balances fidelity, contiguity and compression — combined with a transformer-based diffusion model, our method is able to generate effective, high-fidelity 4D animations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google