Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation

要約

異なる環境で撮影された写真から物体の幾何学形状や外観を再構成することは、照明により撮影された画像ごとに異なるため困難です。
これは、外観が見る方向に大きく依存する鏡面反射性の高いオブジェクトの場合、特に困難です。
従来のアプローチには、画像ごとの埋め込みベクトルを使用して画像全体の外観の変化をモデル化するものと、物理ベースのレンダリングを使用してマテリアルと画像ごとの照明を回復するものがあります。
このようなアプローチでは、入力照明の大幅な変動を考慮して、ビューに依存する外観を忠実に再現することができず、ほとんどが拡散した結果を生成する傾向があります。
我々は、最初に多視点再照明拡散モデルを使用して単一の参照照明の下で画像を再照明し、次に残存する小さな不一致に対して堅牢な放射フィールドアーキテクチャを使用して物体の形状と外観を再構成することにより、異なる照明の下で撮影された画像から物体を再構成するアプローチを提案します。
リライトされた画像の中。
提案したアプローチを合成データセットと実際のデータセットの両方で検証し、極端な照明変化の下で撮影された画像から高忠実度の外観を再構成する際に、既存の手法を大幅に上回るパフォーマンスを実証します。
さらに、私たちのアプローチは、従来の方法では再構築できなかったビュー依存の「光沢のある」外観を回復するのに特に効果的です。

要約(オリジナル)

Reconstructing the geometry and appearance of objects from photographs taken in different environments is difficult as the illumination and therefore the object appearance vary across captured images. This is particularly challenging for more specular objects whose appearance strongly depends on the viewing direction. Some prior approaches model appearance variation across images using a per-image embedding vector, while others use physically-based rendering to recover the materials and per-image illumination. Such approaches fail at faithfully recovering view-dependent appearance given significant variation in input illumination and tend to produce mostly diffuse results. We present an approach that reconstructs objects from images taken under different illuminations by first relighting the images under a single reference illumination with a multiview relighting diffusion model and then reconstructing the object’s geometry and appearance with a radiance field architecture that is robust to the small remaining inconsistencies among the relit images. We validate our proposed approach on both synthetic and real datasets and demonstrate that it greatly outperforms existing techniques at reconstructing high-fidelity appearance from images taken under extreme illumination variation. Moreover, our approach is particularly effective at recovering view-dependent ‘shiny’ appearance which cannot be reconstructed by prior methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google