HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images

要約

人間のアバターの再構成に関しては、現代の技術では通常、高価なデータの取得が必要であり、少数の何気ない画像から満足のいく結果を得るのに苦労しています。
この論文では、数ショットの制約のないフォト アルバムからこのタスクを調査します。
このようなデータ ソースから人間のアバターを再構築することは、データ量が限られており、動的に関節ポーズが表現されているため、困難です。
動的データを処理するために、スキニング メカニズムをディープ マーチング テトラヘドラ (DMTet) と統合して、駆動可能な四面体表現を形成します。これにより、制約のない画像を適応させるために DMTet によって生成された任意のメッシュ トポロジが駆動されます。
少数ショット データから有益な情報を効果的に抽出するために、少数ショット参照と少数ショット ガイダンスによる 2 段階の最適化方法を考案しました。
前者はアバターのアイデンティティを参照画像と一致させることに焦点を当てており、後者は目に見えない領域に対してもっともらしい外観を生成することを目的としています。
全体として、HaveFun と呼ばれる私たちのフレームワークは、アバターの再構築、レンダリング、アニメーションを実行できます。
開発したベンチマークに関する広範な実験により、HaveFun が人体と手を再構築する際に大幅に優れたパフォーマンスを発揮することが実証されました。
プロジェクトの Web サイト: https://seanchenxy.github.io/HaveFunWeb/。

要約(オリジナル)

As for human avatar reconstruction, contemporary techniques commonly necessitate the acquisition of costly data and struggle to achieve satisfactory results from a small number of casual images. In this paper, we investigate this task from a few-shot unconstrained photo album. The reconstruction of human avatars from such data sources is challenging because of limited data amount and dynamic articulated poses. For handling dynamic data, we integrate a skinning mechanism with deep marching tetrahedra (DMTet) to form a drivable tetrahedral representation, which drives arbitrary mesh topologies generated by the DMTet for the adaptation of unconstrained images. To effectively mine instructive information from few-shot data, we devise a two-phase optimization method with few-shot reference and few-shot guidance. The former focuses on aligning avatar identity with reference images, while the latter aims to generate plausible appearances for unseen regions. Overall, our framework, called HaveFun, can undertake avatar reconstruction, rendering, and animation. Extensive experiments on our developed benchmarks demonstrate that HaveFun exhibits substantially superior performance in reconstructing the human body and hand. Project website: https://seanchenxy.github.io/HaveFunWeb/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google