Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors

要約

複数の人の多視点画像のまばらなセットから、一般化されたアニメーション化可能なニューラル人間表現を学習するための新しい方法を提案します。
学習した表現を使用して、カメラのまばらなセットから任意の人の新しいビュー画像を合成し、さらにユーザーのポーズ コントロールでそれらをアニメーション化できます。
既存の方法は、新しい人に一般化するか、ユーザー制御でアニメーションを合成できますが、両方を同時に達成できるものはありません。
この成果は、共有された複数の人物の人体モデルに 3D プロキシを使用したこと、さらにさまざまなポーズの空間を共有された正規のポーズ空間にワープしたことによるものであり、そこでニューラル フィールドを学習して人物を予測します。
ポーズに依存する変形、および入力画像から抽出された特徴による外観。
体の形、ポーズ、衣服の変形における大きなバリエーションの複雑さに対処するために、私たちは絡み合っていないジオメトリと外観を備えたニューラル ヒューマン モデルを設計します。
さらに、空間ポイントと 3D プロキシの表面ポイントの両方で画像の特徴を利用して、人物およびポーズに依存するプロパティを予測します。
実験は、私たちの方法が両方のタスクで最先端技術を大幅に上回ることを示しています。
ビデオとコードは https://talegqz.github.io/neural_novel_actor で入手できます。

要約(オリジナル)

We propose a new method for learning a generalized animatable neural human representation from a sparse set of multi-view imagery of multiple persons. The learned representation can be used to synthesize novel view images of an arbitrary person from a sparse set of cameras, and further animate them with the user’s pose control. While existing methods can either generalize to new persons or synthesize animations with user control, none of them can achieve both at the same time. We attribute this accomplishment to the employment of a 3D proxy for a shared multi-person human model, and further the warping of the spaces of different poses to a shared canonical pose space, in which we learn a neural field and predict the person- and pose-dependent deformations, as well as appearance with the features extracted from input images. To cope with the complexity of the large variations in body shapes, poses, and clothing deformations, we design our neural human model with disentangled geometry and appearance. Furthermore, we utilize the image features both at the spatial point and on the surface points of the 3D proxy for predicting person- and pose-dependent properties. Experiments show that our method significantly outperforms the state-of-the-arts on both tasks. The video and code are available at https://talegqz.github.io/neural_novel_actor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google