ROSA: Reconstructing Object Shape and Appearance Textures by Adaptive Detail Transfer

要約

コロケートされた光の下でキャプチャされた限られた画像セットからの空間的に変化する双方向反射分布関数（SVBRDF）によってテクスチャされたメッシュの観点からオブジェクトの形状と外観を再構築することは、不適切な問題です。
以前の最先端のアプローチは、ジオメトリの外観を直接再構築するか、外観機能の一部としてテクスチャ通常をさらに使用することを目的としています。
ただし、これには、詳細ではないが非効率的なメッシュが必要であり、後処理ステップで単純化する必要があります。または、欠落した影や誤ったシルエットなどの通常のマップのよく知られた制限に苦しむ必要があります。
別の制限要因は、テクスチャ推定の固定された、通常は低い解像度であり、重要な表面の詳細が失われることです。
これらの問題を克服するために、画像データのみに基づいて空間的に適応するメッシュ解像度でメッシュジオメトリを直接最適化する逆レンダリング方法であるRosaを提示します。
特に、メッシュを改良し、推定された通常のテクスチャとメッシュの曲率に基づいて表面の滑らかさを局所的に調整します。
さらに、単一の事前訓練を受けたデコーダーネットワークで動作するが、ネットワーク出力解像度に限定されない先駆的なタイルベースのメソッドを介して、高解像度テクスチャの細かい外観の詳細の再構築を有効にします。

要約(オリジナル)

Reconstructing an object’s shape and appearance in terms of a mesh textured by a spatially-varying bidirectional reflectance distribution function (SVBRDF) from a limited set of images captured under collocated light is an ill-posed problem. Previous state-of-the-art approaches either aim to reconstruct the appearance directly on the geometry or additionally use texture normals as part of the appearance features. However, this requires detailed but inefficiently large meshes, that would have to be simplified in a post-processing step, or suffers from well-known limitations of normal maps such as missing shadows or incorrect silhouettes. Another limiting factor is the fixed and typically low resolution of the texture estimation resulting in loss of important surface details. To overcome these problems, we present ROSA, an inverse rendering method that directly optimizes mesh geometry with spatially adaptive mesh resolution solely based on the image data. In particular, we refine the mesh and locally condition the surface smoothness based on the estimated normal texture and mesh curvature. In addition, we enable the reconstruction of fine appearance details in high-resolution textures through a pioneering tile-based method that operates on a single pre-trained decoder network but is not limited by the network output resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google