My3DGen: Building Lightweight Personalized 3D Generative Model

要約

私たちの論文では、わずか 10 枚の画像を使用する前に、パーソナライズされた軽量の 3D 生成物を作成するための実用的なシステムである My3DGen について説明します。
My3DGen は、入力テスト画像から多視点の一貫した画像を再構築し、同じ個人の任意の 2 つの画像間を補間することで新しい外観を生成できます。
最近の研究では、高品質の 2D ポートレートの再構成と合成を生成する際のパーソナライズされた事前生成の有効性が実証されていますが、私たちの知る限り、私たちはパーソナライズされた 3D 事前生成を開発したのは初めてです。
パーソナライゼーションを実現するために数百万のパラメーターを備えた事前トレーニング済みの大規模な生成モデルを微調整する代わりに、パラメーター効率の高いアプローチを提案します。
私たちの方法では、一般的な事前分布として固定重みを持つ事前トレーニング済みモデルを利用すると同時に、各畳み込み層と全結合層の重みの低ランク分解を通じて個別のパーソナライズされた事前分布をトレーニングします。
ただし、パラメーター効率の高い少数ショットの微調整だけでは、オーバーフィッティングが発生することがよくあります。
これに対処するために、人間の顔の対称性に基づいた正則化手法を導入します。
この正則化により、対称ポーズからレンダリングされたトレーニング サンプルの新しいビュー レンダリングが同じ同一性を示すことが強制されます。
この対称性を事前に組み込むことで、特に非正面（横顔）の顔の再構成と合成の品質が向上します。
私たちの最終的なシステムは、低ランクの微調整と対称正則化を組み合わせたもので、事前トレーニングされたモデルのパフォーマンスを大幅に上回っています。
EG3D。
元のモデルの完全な微調整では 3,100 万の追加パラメータが導入されるのに対し、アイデンティティごとに導入される追加パラメータはわずか約 60 万です。
その結果、私たちのシステムは、生成される 3D 顔の品質を犠牲にすることなく、モデル サイズを 50 分の 1 に縮小することができました。
コードはプロジェクト ページ https://luchaoqi.github.io/my3dgen で入手できます。

要約(オリジナル)

Our paper presents My3DGen, a practical system for creating a personalized and lightweight 3D generative prior using as few as 10 images. My3DGen can reconstruct multi-view consistent images from an input test image, and generate novel appearances by interpolating between any two images of the same individual. While recent studies have demonstrated the effectiveness of personalized generative priors in producing high-quality 2D portrait reconstructions and syntheses, to the best of our knowledge, we are the first to develop a personalized 3D generative prior. Instead of fine-tuning a large pre-trained generative model with millions of parameters to achieve personalization, we propose a parameter-efficient approach. Our method involves utilizing a pre-trained model with fixed weights as a generic prior, while training a separate personalized prior through low-rank decomposition of the weights in each convolution and fully connected layer. However, parameter-efficient few-shot fine-tuning on its own often leads to overfitting. To address this, we introduce a regularization technique based on symmetry of human faces. This regularization enforces that novel view renderings of a training sample, rendered from symmetric poses, exhibit the same identity. By incorporating this symmetry prior, we enhance the quality of reconstruction and synthesis, particularly for non-frontal (profile) faces. Our final system combines low-rank fine-tuning with symmetry regularization and significantly surpasses the performance of pre-trained models, e.g. EG3D. It introduces only approximately 0.6 million additional parameters per identity compared to 31 million for full finetuning of the original model. As a result, our system achieves a 50-fold reduction in model size without sacrificing the quality of the generated 3D faces. Code will be available at our project page: https://luchaoqi.github.io/my3dgen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google