Deep scene-scale material estimation from multi-view indoor captures

要約

映画やビデオ ゲーム業界では、現実世界のシーンの複数の写真からデジタル 3D アセットを作成する方法として、フォトグラメトリが採用されています。
しかし、写真測量アルゴリズムは通常、シーンの RGB テクスチャ アトラスを出力します。これは、熟練したアーティストが物理ベースのレンダリングに適したマテリアル マップを作成するための視覚的なガイダンスとしてのみ機能します。
リトポロジ化されたジオメトリで使用される屋内シーンのマルチビュー キャプチャからおおよそのマテリアル マップを推定することにより、物理ベースのレンダリングの準備ができているデジタル アセットを自動的に生成する学習ベースのアプローチを提示します。
各入力画像に対して実行する材料推定畳み込みニューラル ネットワーク (CNN) に基づいてアプローチします。
特定の画像の各ピクセルについて、他の画像の対応するポイントの色を収集することにより、シーンの複数の観察によって提供されるビューに依存する視覚的な手がかりを活用します。
この画像空間 CNN は予測のアンサンブルを提供し、これをアプローチの最後のステップとしてテクスチャ空間にマージします。
私たちの結果は、復元されたアセットが、物理ベースのレンダリングと、あらゆる視点と斬新な照明からの実際の屋内シーンの編集に直接使用できることを示しています。
私たちの方法は、以前の最も近いソリューションと比較して、わずかな時間でおおよそのマテリアル マップを生成します。

要約(オリジナル)

The movie and video game industries have adopted photogrammetry as a way to create digital 3D assets from multiple photographs of a real-world scene. But photogrammetry algorithms typically output an RGB texture atlas of the scene that only serves as visual guidance for skilled artists to create material maps suitable for physically-based rendering. We present a learning-based approach that automatically produces digital assets ready for physically-based rendering, by estimating approximate material maps from multi-view captures of indoor scenes that are used with retopologized geometry. We base our approach on a material estimation Convolutional Neural Network (CNN) that we execute on each input image. We leverage the view-dependent visual cues provided by the multiple observations of the scene by gathering, for each pixel of a given image, the color of the corresponding point in other images. This image-space CNN provides us with an ensemble of predictions, which we merge in texture space as the last step of our approach. Our results demonstrate that the recovered assets can be directly used for physically-based rendering and editing of real indoor scenes from any viewpoint and novel lighting. Our method generates approximate material maps in a fraction of time compared to the closest previous solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google