URHand: Universal Relightable Hands

要約

既存のフォトリアリスティックな再点灯可能なハンド モデルは、さまざまなビュー、ポーズ、照明でアイデンティティに特化した広範な観察を必要とし、自然照明や新しいアイデンティティに一般化する際に課題に直面しています。
このギャップを埋めるために、視点、ポーズ、照明、アイデンティティ全体を一般化する初のユニバーサル再点灯可能なハンド モデルである URHand を紹介します。
私たちのモデルは、携帯電話でキャプチャした画像を使用して数ショットのパーソナライズを可能にし、斬新な照明の下でフォトリアリスティックにレンダリングする準備ができています。
フォトリアリズムを維持しながらパーソナライゼーション プロセスを簡素化するために、何百ものアイデンティティを持つライト ステージでキャプチャされた手の多視点画像からのニューラル リライティングに基づいた強力なユニバーサル リライティング プリアブルを構築します。
主な課題は、自然照明の下で一般化を損なうことなく、パーソナライズされた忠実性と鮮明な詳細を維持しながら、クロスアイデンティティ トレーニングを拡張することです。
この目的を達成するために、物理学にヒントを得たシェーディングを入力特徴として受け取るニューラル レンダラーとして、空間的に変化する線形照明モデルを提案します。
非線形の活性化とバイアスを除去することにより、当社の特別に設計された照明モデルは、光輸送の線形性を明示的に維持します。
これにより、ライトステージ データからのシングルステージ トレーニングが可能になり、同時に、多様なアイデンティティにわたる任意の連続照明下でのリアルタイム レンダリングに一般化できます。
さらに、物理ベースのモデルとニューラル リライティング モデルの共同学習を導入し、忠実度と一般化をさらに向上させます。
広範な実験により、私たちのアプローチは品質と汎用性の両方の点で既存の方法よりも優れたパフォーマンスを達成することが示されています。
また、目に見えないアイデンティティの短い電話スキャンから URHand を迅速にパーソナライズすることも実証します。

要約(オリジナル)

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google