3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling

要約

顔の 3D モーファブル モデルは、数え切れないほどの用途がある主要なコンピューター ビジョンの対象であり、過去 20 年間で高度に最適化されてきました。
深層生成ネットワークの驚異的な改善は、そのようなモデルを改善するためのさまざまな可能性を生み出し、幅広い関心を集めています。
さらに、ニューラル放射輝度フィールドの最近の進歩は、既知のシーンの新規ビュー合成に革命をもたらしています。
この作業では、上記の両方を活用し、被写体のアイデンティティ、ポーズ、表情を正確にモデル化し、任意の照明でレンダリングできる、顔の 3D モーファブル モデルを提示します。
これは、強力なディープ スタイル ベースのジェネレーターを利用して、ニューラル ラディアンス フィールドの 2 つの主な弱点である剛性とレンダリング速度を克服することによって実現されます。
ニューラル放射輝度フィールドの必要なすべてのレンダリング サンプルのみを 1 つのパスで合成する、スタイルベースの生成ネットワークを紹介します。
顔のレンダリングのラベル付けされた膨大な合成データセットを作成し、これらのデータでネットワークをトレーニングして、顔のアイデンティティ、ポーズ、外観を正確にモデル化し、一般化できるようにします。
最後に、このモデルが任意のポーズと照明の「野生の」顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件で顔を再レンダリングするために使用できることを示します。

要約(オリジナル)

Facial 3D Morphable Models are a main computer vision subject with countless applications and have been highly optimized in the last two decades. The tremendous improvements of deep generative networks have created various possibilities for improving such models and have attracted wide interest. Moreover, the recent advances in neural radiance fields, are revolutionising novel-view synthesis of known scenes. In this work, we present a facial 3D Morphable Model, which exploits both of the above, and can accurately model a subject’s identity, pose and expression and render it in arbitrary illumination. This is achieved by utilizing a powerful deep style-based generator to overcome two main weaknesses of neural radiance fields, their rigidity and rendering speed. We introduce a style-based generative network that synthesizes in one pass all and only the required rendering samples of a neural radiance field. We create a vast labelled synthetic dataset of facial renders, and train the network on these data, so that it can accurately model and generalize on facial identity, pose and appearance. Finally, we show that this model can accurately be fit to ‘in-the-wild’ facial images of arbitrary pose and illumination, extract the facial characteristics, and be used to re-render the face in controllable conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google