AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation

要約

この論文では、動的 3D アバターを新しいスタイルの任意のテキスト記述に迅速に適応できる方法を紹介します。
アバターの様式化に対する既存のアプローチの中で、直接最適化手法は任意のスタイルに対して優れた結果を生み出すことができますが、不快なほど遅いです。
さらに、新しい入力ごとに最適化プロセスを最初からやり直す必要があります。
スタイル画像の大規模なデータセットでトレーニングされたフィードフォワード ネットワークを使用した高速近似手法は、新しい入力に対する結果を迅速に生成できますが、新しいスタイルにうまく一般化できず、品質が不十分になる傾向があります。
そこで、メタ学習フレームワークを使用してこれら 2 つのアプローチを組み合わせた新しいアプローチである AlteredAvatar を調査します。
内側のループでは、モデルは単一のターゲット スタイルによく適合するように最適化することを学習します。
外側のループでは、モデルは多くのスタイルにわたって効率的にスタイル設定する方法を学習します。
トレーニング後、AlteredAvatar は、テキスト、参照画像、または両方の組み合わせを使用して与えることができる新しいスタイルに、少数の更新ステップ内で迅速に適応できる初期化を学習します。
私たちは、AlteredAvatar が、幅広い新しいビューや表情にわたって一貫性を維持しながら、速度、柔軟性、品質の間で良好なバランスを達成できることを示します。

要約(オリジナル)

This paper presents a method that can quickly adapt dynamic 3D avatars to arbitrary text descriptions of novel styles. Among existing approaches for avatar stylization, direct optimization methods can produce excellent results for arbitrary styles but they are unpleasantly slow. Furthermore, they require redoing the optimization process from scratch for every new input. Fast approximation methods using feed-forward networks trained on a large dataset of style images can generate results for new inputs quickly, but tend not to generalize well to novel styles and fall short in quality. We therefore investigate a new approach, AlteredAvatar, that combines those two approaches using the meta-learning framework. In the inner loop, the model learns to optimize to match a single target style well; while in the outer loop, the model learns to stylize efficiently across many styles. After training, AlteredAvatar learns an initialization that can quickly adapt within a small number of update steps to a novel style, which can be given using texts, a reference image, or a combination of both. We show that AlteredAvatar can achieve a good balance between speed, flexibility and quality, while maintaining consistency across a wide range of novel views and facial expressions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google