Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance

要約

マルチビュー設定内で詳細な 3D シーンを再構成する 3D ガウス スプラッティング (3DGS) の有効性と、大規模な 2D 人間基礎モデルの出現に触発され、人間の顔基礎モデルをガイダンスとして利用する初の SDS ベースの手法である Arc2Avatar を紹介します。
入力として 1 つの画像だけを使用します。
それを達成するために、合成データを微調整し、その条件付けを変更することで、多様なビューの人体頭部生成用のモデルを拡張します。
私たちのアバターは人間の顔のメッシュ テンプレートとの密な対応を維持し、ブレンドシェイプ ベースの表現の生成を可能にします。
これは、修正された 3DGS アプローチ、接続性正則化機能、およびタスクに合わせた戦略的な初期化によって実現されます。
さらに、ブレンドシェイプ表現を洗練し、リアリズムと多様性を高めるためのオプションの効率的な SDS ベースの補正ステップを提案します。
実験では、Arc2Avatar が最先端のリアリズムとアイデンティティの保持を実現し、詳細を損なうことなく、強力なアイデンティティ事前設定と初期化戦略によって可能になった非常に低いガイダンスの使用を許可することで色の問題に効果的に対処していることが実証されています。

要約(オリジナル)

Inspired by the effectiveness of 3D Gaussian Splatting (3DGS) in reconstructing detailed 3D scenes within multi-view setups and the emergence of large 2D human foundation models, we introduce Arc2Avatar, the first SDS-based method utilizing a human face foundation model as guidance with just a single image as input. To achieve that, we extend such a model for diverse-view human head generation by fine-tuning on synthetic data and modifying its conditioning. Our avatars maintain a dense correspondence with a human face mesh template, allowing blendshape-based expression generation. This is achieved through a modified 3DGS approach, connectivity regularizers, and a strategic initialization tailored for our task. Additionally, we propose an optional efficient SDS-based correction step to refine the blendshape expressions, enhancing realism and diversity. Experiments demonstrate that Arc2Avatar achieves state-of-the-art realism and identity preservation, effectively addressing color issues by allowing the use of very low guidance, enabled by our strong identity prior and initialization strategy, without compromising detail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google