High-Res Facial Appearance Capture from Polarized Smartphone Images

要約

本研究では，安価な偏光フォイルを装備したスマートフォン1台を用いた新しい撮像ルーチンを用いて，RGB画像から高品質な顔テクスチャ再構成を行う手法を提案する。具体的には、懐中電灯を偏光光源にし、カメラの上に偏光フィルタを追加します。これを利用して、被写体の顔を交差偏光と平行偏光で撮影します。さらに、このスマートフォンを用いて、暗い環境下でフラッシュ光を照射し、偏光の異なる2つの短時間のシーケンスを記録する。これらの観測結果を基に、動きからの構造を用いて顔の明示的な表面メッシュを再構成する。次に、微分可能なレンダラ内のカメラと光の同位置を利用し、分析合成アプローチにより顔のテクスチャを最適化する。本手法は、高解像度の法線テクスチャ、拡散アルベド、鏡面アルベドを粗から細への最適化スキームを用いて最適化する。この最適化されたテクスチャは、標準的なレンダリングパイプラインで使用することができ、新しい環境における高品質なフォトリアリスティックな3Dデジタルヒューマンを合成することができることを示す。

要約(オリジナル)

We propose a novel method for high-quality facial texture reconstruction from RGB images using a novel capturing routine based on a single smartphone which we equip with an inexpensive polarization foil. Specifically, we turn the flashlight into a polarized light source and add a polarization filter on top of the camera. Leveraging this setup, we capture the face of a subject with cross-polarized and parallel-polarized light. For each subject, we record two short sequences in a dark environment under flash illumination with different light polarization using the modified smartphone. Based on these observations, we reconstruct an explicit surface mesh of the face using structure from motion. We then exploit the camera and light co-location within a differentiable renderer to optimize the facial textures using an analysis-by-synthesis approach. Our method optimizes for high-resolution normal textures, diffuse albedo, and specular albedo using a coarse-to-fine optimization scheme. We show that the optimized textures can be used in a standard rendering pipeline to synthesize high-quality photo-realistic 3D digital humans in novel environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL