DELIFFAS: Deformable Light Fields for Fast Avatar Synthesis

要約

制御可能で写真のようにリアルなデジタル ヒューマン アバターを生成することは、ビジョンとグラフィックスにおける長年の重要な問題です。
最近の手法は、フォトリアリズムまたは推論速度の点で大きな進歩を示していますが、望ましい 2 つの特性の組み合わせは依然として未解決のままです。
この目的を達成するために、我々は DELIFFAS と呼ばれる新しい方法を提案します。この方法は、人間の外観を、制御可能で変形する人間のメッシュ モデルに関連付けられた表面ライト フィールドとしてパラメータ化します。
中心となるのは、人間の周囲のライト フィールドを変形可能な 2 つの表面パラメータ化で表現し、人間の外観を迅速かつ正確に推論できるようにすることです。
これにより、実行時間が遅いために個々のピクセルまたは小さなパッチしか監視できなかった以前のアプローチと比較して、画像全体を知覚的に監視できるようになります。
慎重に設計された人間の表現と監視戦略により、最先端の合成結果と推論時間が実現します。
ビデオの結果とコードは、https://vcai.mpi-inf.mpg.de/projects/DELIFFAS で入手できます。

要約(オリジナル)

Generating controllable and photorealistic digital human avatars is a long-standing and important problem in Vision and Graphics. Recent methods have shown great progress in terms of either photorealism or inference speed while the combination of the two desired properties still remains unsolved. To this end, we propose a novel method, called DELIFFAS, which parameterizes the appearance of the human as a surface light field that is attached to a controllable and deforming human mesh model. At the core, we represent the light field around the human with a deformable two-surface parameterization, which enables fast and accurate inference of the human appearance. This allows perceptual supervision on the full image compared to previous approaches that could only supervise individual pixels or small patches due to their slow runtime. Our carefully designed human representation and supervision strategy leads to state-of-the-art synthesis results and inference time. The video results and code are available at https://vcai.mpi-inf.mpg.de/projects/DELIFFAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google