Fast and Uncertainty-Aware SVBRDF Recovery from Multi-View Capture using Frequency Domain Analysis

要約

再点灯可能なオブジェクトの取得は、デジタル アセットの作成を簡素化する上で重要な課題です。
物体を完全に再構成するには、通常、特殊な機器を使用し、制御された照明の下で数百から数千枚の写真を撮影する必要があります。
微分可能レンダリングの最近の進歩により、逆レンダリング最適化の品質とアクセシビリティが向上しました。
それにもかかわらず、制御されていない照明と構造化されていない視点の下では、捕捉されたオブジェクトの外観特性を再構成するのに十分な情報が観察に含まれているという保証はありません。
したがって、信号処理の観点から取得プロセスを検討することを提案します。
オブジェクトの形状と照明環境を考慮して、オブジェクトの表面上のマテリアルの特性を数秒で推定します。
これは、材料特性の回復をデコンボリューションとして考慮し、周波数領域解析を活用することでこれを行い、迅速な誤差推定を可能にします。
次に、入手可能なデータに基づいて推定の不確実性を定量化し、取得品質を向上させるために事前分布または追加サンプルが必要となる領域を強調します。
私たちは、以前の研究と私たちのアプローチを比較し、結果を定量的に評価し、わずかな時間で以前の研究と同様の品質を示し、結果の確実性に関する重要な情報を提供します。

要約(オリジナル)

Relightable object acquisition is a key challenge in simplifying digital asset creation. Complete reconstruction of an object typically requires capturing hundreds to thousands of photographs under controlled illumination, with specialized equipment. The recent progress in differentiable rendering improved the quality and accessibility of inverse rendering optimization. Nevertheless, under uncontrolled illumination and unstructured viewpoints, there is no guarantee that the observations contain enough information to reconstruct the appearance properties of the captured object. We thus propose to consider the acquisition process from a signal-processing perspective. Given an object’s geometry and a lighting environment, we estimate the properties of the materials on the object’s surface in seconds. We do so by leveraging frequency domain analysis, considering the recovery of material properties as a deconvolution, enabling fast error estimation. We then quantify the uncertainty of the estimation, based on the available data, highlighting the areas for which priors or additional samples would be required for improved acquisition quality. We compare our approach to previous work and quantitatively evaluate our results, showing similar quality as previous work in a fraction of the time, and providing key information about the certainty of the results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google