Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction

要約

インバース レンダリング手法は、もつれのないジオメトリ、マテリアル、環境光を使用して高忠実度の 3D オブジェクトを再構築する際に、顕著なパフォーマンスを達成しました。
しかし、反射面の再構成においては依然として大きな課題に直面しています。
最近の方法では、鏡面反射性を学習するために光の軌跡をモデル化していますが、間接照明が無視されているため、複数の滑らかなオブジェクト間の相互反射を処理することが困難になります。
本研究では、環境照度を包括的に計算し、物体表面からの反射光を考慮するマルチタイムモンテカルロサンプリングを導入したRef-MC2を提案します。
モンテカルロ サンプリングの時間が増大するにつれて計算の課題に対処するために、計算の複雑さを大幅に軽減する鏡面反射性適応サンプリング戦略を提案します。
幾何学的誤差は何度も蓄積されるため、計算リソースに加えて、より高い幾何学的精度も必要となります。
したがって、ジオメトリを初期化し、逆レンダリング中にそれを調整するために、反射を意識したサーフェス モデルをさらに導入します。
複数のオブジェクトと相互反射を含むシーンを含む、やりがいのあるデータセットを構築します。
実験では、さまざまなオブジェクト グループに対して、私たちの方法が他の逆レンダリング方法よりも優れていることが示されています。
また、私たちの方法のもつれを解く能力を説明するために、再照明やマテリアル編集などの下流のアプリケーションも示します。

要約(オリジナル)

Inverse rendering methods have achieved remarkable performance in reconstructing high-fidelity 3D objects with disentangled geometries, materials, and environmental light. However, they still face huge challenges in reflective surface reconstruction. Although recent methods model the light trace to learn specularity, the ignorance of indirect illumination makes it hard to handle inter-reflections among multiple smooth objects. In this work, we propose Ref-MC2 that introduces the multi-time Monte Carlo sampling which comprehensively computes the environmental illumination and meanwhile considers the reflective light from object surfaces. To address the computation challenge as the times of Monte Carlo sampling grow, we propose a specularity-adaptive sampling strategy, significantly reducing the computational complexity. Besides the computational resource, higher geometry accuracy is also required because geometric errors accumulate multiple times. Therefore, we further introduce a reflection-aware surface model to initialize the geometry and refine it during inverse rendering. We construct a challenging dataset containing scenes with multiple objects and inter-reflections. Experiments show that our method outperforms other inverse rendering methods on various object groups. We also show downstream applications, e.g., relighting and material editing, to illustrate the disentanglement ability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google