Locally Adaptive Neural 3D Morphable Models

要約

3D メッシュの生成と操作を学習するための柔軟性の高い自動エンコーダー (AE) フレームワークである局所適応モーファブル モデル (LAMM) を紹介します。
私たちは、単純な自己教師ありトレーニング スキームに従ってアーキテクチャをトレーニングします。このスキームでは、一連の疎な制御頂点に対する入力変位を使用して、エンコードされたジオメトリを上書きし、あるトレーニング サンプルを別のトレーニング サンプルに変換します。
推論中、モデルは、エンコードされたオブジェクトの全体的な外観を維持しながら、指定された疎なジオメトリに局所的に準拠する高密度の出力を生成します。
このアプローチにより、操作されたジオメトリのもつれの解消と 3D メッシュの再構築の両方において最先端のパフォーマンスが得られます。
私たちの知る限り、LAMM は、単一のフォワード パスで 3D 頂点ジオメトリの直接ローカル制御を可能にする初のエンドツーエンド フレームワークです。
非常に効率的な計算グラフにより、ネットワークは以前の方法で必要とされたメモリのほんの一部でトレーニングでき、推論中により高速に実行でき、単一の CPU スレッドで $>$60fps で 12,000 の頂点メッシュを生成します。
さらに、ローカル ジオメトリ コントロールを高レベルの編集操作のプリミティブとして活用し、オブジェクト パーツの交換やサンプリングなどの一連の派生機能を提供します。
コードと事前トレーニングされたモデルは、https://github.com/michaeltrs/LAMM で見つけることができます。

要約(オリジナル)

We present the Locally Adaptive Morphable Model (LAMM), a highly flexible Auto-Encoder (AE) framework for learning to generate and manipulate 3D meshes. We train our architecture following a simple self-supervised training scheme in which input displacements over a set of sparse control vertices are used to overwrite the encoded geometry in order to transform one training sample into another. During inference, our model produces a dense output that adheres locally to the specified sparse geometry while maintaining the overall appearance of the encoded object. This approach results in state-of-the-art performance in both disentangling manipulated geometry and 3D mesh reconstruction. To the best of our knowledge LAMM is the first end-to-end framework that enables direct local control of 3D vertex geometry in a single forward pass. A very efficient computational graph allows our network to train with only a fraction of the memory required by previous methods and run faster during inference, generating 12k vertex meshes at $>$60fps on a single CPU thread. We further leverage local geometry control as a primitive for higher level editing operations and present a set of derivative capabilities such as swapping and sampling object parts. Code and pretrained models can be found at https://github.com/michaeltrs/LAMM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google