MEGANE: Morphable Eyeglass and Avatar Network

要約

眼鏡は、アイデンティティの認識において重要な役割を果たします。
顔の本物の仮想表現は、それらを含めることで大きなメリットを得ることができます。
ただし、メガネの幾何学的および外観の相互作用と、人間の仮想表現の顔をモデル化することは困難です。
メガネと顔は、接触点で互いのジオメトリに影響を与え、光の伝達による外観の変化も引き起こします。
ほとんどの既存のアプローチは、眼鏡と顔を個別にモデル化するため、これらの物理的な相互作用をキャプチャしません。
他の人は、相互作用を 2D 画像合成の問題として解決しようとし、ビューと時間の不一致に悩まされています。
この作業では、忠実度の高い幾何学的および測光相互作用効果を正確に組み込んだ眼鏡の 3D 構成モーフィング モデルを提案します。
メガネ トポロジの大きな変化を効率的にサポートするために、サーフェス ジオメトリとボリューム表現を組み合わせたハイブリッド表現を採用しています。
ボリューム アプローチとは異なり、私たちのモデルはメガネ間での対応を自然に保持するため、レンズの挿入やフレームの変形などのジオメトリの明示的な変更が大幅に簡素化されます。
さらに、私たちのモデルは、ポイント ライトと自然光の下で再照明可能であり、単一のモーフィング可能なモデル内の半透明のプラスチックや金属を含む、さまざまなフレーム マテリアルの忠実度の高いレンダリングをサポートします。
重要なことに、私たちのアプローチは、顔とメガネの間に影を落とすなど、グローバルな光輸送効果をモデル化します。
メガネ用のモーフィング可能なモデルは、逆レンダリングを介して新しいメガネに適合させることもできます。
当社のアプローチを最先端の方法と比較し、大幅な品質改善を実証します。

要約(オリジナル)

Eyeglasses play an important role in the perception of identity. Authentic virtual representations of faces can benefit greatly from their inclusion. However, modeling the geometric and appearance interactions of glasses and the face of virtual representations of humans is challenging. Glasses and faces affect each other’s geometry at their contact points, and also induce appearance changes due to light transport. Most existing approaches do not capture these physical interactions since they model eyeglasses and faces independently. Others attempt to resolve interactions as a 2D image synthesis problem and suffer from view and temporal inconsistencies. In this work, we propose a 3D compositional morphable model of eyeglasses that accurately incorporates high-fidelity geometric and photometric interaction effects. To support the large variation in eyeglass topology efficiently, we employ a hybrid representation that combines surface geometry and a volumetric representation. Unlike volumetric approaches, our model naturally retains correspondences across glasses, and hence explicit modification of geometry, such as lens insertion and frame deformation, is greatly simplified. In addition, our model is relightable under point lights and natural illumination, supporting high-fidelity rendering of various frame materials, including translucent plastic and metal within a single morphable model. Importantly, our approach models global light transport effects, such as casting shadows between faces and glasses. Our morphable model for eyeglasses can also be fit to novel glasses via inverse rendering. We compare our approach to state-of-the-art methods and demonstrate significant quality improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google