MegaPortraits: One-shot Megapixel Neural Head Avatars

要約

この作業では、クロスドライブ合成の特に困難なタスクに焦点を当てながら、ニューラルヘッドアバターテクノロジーをメガピクセル解像度に進化させます。つまり、駆動画像の外観がアニメーション化されたソース画像と大幅に異なる場合です。
中解像度のビデオデータと高解像度の画像データの両方を活用して、レンダリングされた画質の望ましいレベルと新しいビューとモーションへの一般化を実現できる一連の新しいニューラルアーキテクチャとトレーニング方法を提案します。
提案されたアーキテクチャと方法が説得力のある高解像度のニューラルアバターを生成し、クロスドライブシナリオで競合他社をしのぐことを示します。
最後に、トレーニングされた高解像度のニューラルアバターモデルを、リアルタイムで実行され、ニューラルアバターのIDを数十の事前定義されたソース画像にロックする軽量の学生モデルに抽出する方法を示します。
リアルタイム操作とIDロックは、多くの実用的なアプリケーションのヘッドアバターシステムにとって不可欠です。

要約(オリジナル)

In this work, we advance the neural head avatar technology to the megapixel resolution while focusing on the particularly challenging task of cross-driving synthesis, i.e., when the appearance of the driving image is substantially different from the animated source image. We propose a set of new neural architectures and training methods that can leverage both medium-resolution video data and high-resolution image data to achieve the desired levels of rendered image quality and generalization to novel views and motion. We demonstrate that suggested architectures and methods produce convincing high-resolution neural avatars, outperforming the competitors in the cross-driving scenario. Lastly, we show how a trained high-resolution neural avatar model can be distilled into a lightweight student model which runs in real-time and locks the identities of neural avatars to several dozens of pre-defined source images. Real-time operation and identity lock are essential for many practical applications head avatar systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google