High-Res Facial Appearance Capture from Polarized Smartphone Images

要約

安価な偏光フォイルを装備した単一のスマートフォンに基づく新しいキャプチャルーチンを使用して、RGB画像から高品質の顔のテクスチャを再構築するための新しい方法を提案します。
具体的には、懐中電灯を偏光光源に変え、カメラの上に偏光フィルターを追加します。
このセットアップを活用して、交差偏光と平行偏光で被写体の顔をキャプチャします。
被験者ごとに、変更されたスマートフォンを使用して、異なる偏光のフラッシュ照明の下で暗い環境で 2 つの短いシーケンスを記録します。
これらの観察に基づいて、動きからの構造を使用して、顔の明示的な表面メッシュを再構築します。
次に、微分可能なレンダラー内のカメラとライトのコロケーションを利用して、合成による分析アプローチを使用して顔のテクスチャを最適化します。
私たちの方法は、粗から細かい最適化スキームを使用して、高解像度の法線テクスチャ、拡散アルベド、鏡面アルベドを最適化します。
最適化されたテクスチャを標準のレンダリング パイプラインで使用して、新しい環境で高品質の写真のようにリアルな 3D デジタル ヒューマンを合成できることを示します。

要約(オリジナル)

We propose a novel method for high-quality facial texture reconstruction from RGB images using a novel capturing routine based on a single smartphone which we equip with an inexpensive polarization foil. Specifically, we turn the flashlight into a polarized light source and add a polarization filter on top of the camera. Leveraging this setup, we capture the face of a subject with cross-polarized and parallel-polarized light. For each subject, we record two short sequences in a dark environment under flash illumination with different light polarization using the modified smartphone. Based on these observations, we reconstruct an explicit surface mesh of the face using structure from motion. We then exploit the camera and light co-location within a differentiable renderer to optimize the facial textures using an analysis-by-synthesis approach. Our method optimizes for high-resolution normal textures, diffuse albedo, and specular albedo using a coarse-to-fine optimization scheme. We show that the optimized textures can be used in a standard rendering pipeline to synthesize high-quality photo-realistic 3D digital humans in novel environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google