SupeRVol: Super-Resolution Shape and Reflectance Estimation in Inverse Volume Rendering

要約

超解像度の方法で一連のカラー画像から 3D 形状とマテリアル パラメータを復元できる、SupeRVol と呼ばれるエンドツーエンドの逆レンダリング パイプラインを提案します。
この目的のために、多層パーセプトロンによって双方向反射率分布関数 (BRDF) と符号付き距離関数 (SDF) の両方を表します。
表面形状とその反射特性の両方を取得するために、物理ベースの照明モデルを使用して微分可能なボリューム レンダラーに戻ります。これにより、反射と照明を切り離すことができます。
この物理モデルは、カメラの点広がり関数の効果を考慮に入れているため、超解像品質で形状と素材を再構成できます。
実験的な検証により、SupeRVol が逆レンダリング品質に関して最先端のパフォーマンスを達成することが確認されています。
個々の入力画像よりも鮮明な再構成を生成するため、この方法は低解像度画像からの 3D モデリングに最適です。

要約(オリジナル)

We propose an end-to-end inverse rendering pipeline called SupeRVol that allows us to recover 3D shape and material parameters from a set of color images in a super-resolution manner. To this end, we represent both the bidirectional reflectance distribution function (BRDF) and the signed distance function (SDF) by multi-layer perceptrons. In order to obtain both the surface shape and its reflectance properties, we revert to a differentiable volume renderer with a physically based illumination model that allows us to decouple reflectance and lighting. This physical model takes into account the effect of the camera’s point spread function thereby enabling a reconstruction of shape and material in a super-resolution quality. Experimental validation confirms that SupeRVol achieves state of the art performance in terms of inverse rendering quality. It generates reconstructions that are sharper than the individual input images, making this method ideally suited for 3D modeling from low-resolution imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google