Extracting Triangular 3D Models, Materials, and Lighting From Images

要約

タイトル：画像から三角形の3Dモデル、マテリアル、ライティングを抽出する方法

要約：
– 多視点画像観測からトポロジー、マテリアル、ライティングをジョイント最適化する効率的な方法を提案している。
– 一般的なマルチビュー再構築手法がニューラルネットワークにエンコードされた複雑な3D表現を生成するのに対し、本手法は任意の伝統的なグラフィックスエンジンにデプロイ可能な、空間的に変化するマテリアルと環境ライティングを持つ三角形メッシュを出力している。
– 可視化を微分可能にする、座標ベースのネットワーク、体積テクスチャをコンパクトに表現する微分可能なレンダリング、マーチングテトラヘドロンを利用して、表面メッシュ上の勾配ベースの最適化を実現している。
– また、環境ライティングの分割和近似の微分可能な形式を導入し、すべての周波数の照明を効率的に回復している。
– 実験で、三角形ベースのレンダラー（ラスタライザとパストレーサー）で対話的なレートで実行される高度なシーン編集、マテリアル分解、高品質のビュー補間で使用される抽出モデルを示している。プロジェクトのウェブサイト：https://nvlabs.github.io/nvdiffrec/。

要約(オリジナル)

We present an efficient method for joint optimization of topology, materials and lighting from multi-view image observations. Unlike recent multi-view reconstruction approaches, which typically produce entangled 3D representations encoded in neural networks, we output triangle meshes with spatially-varying materials and environment lighting that can be deployed in any traditional graphics engine unmodified. We leverage recent work in differentiable rendering, coordinate-based networks to compactly represent volumetric texturing, alongside differentiable marching tetrahedrons to enable gradient-based optimization directly on the surface mesh. Finally, we introduce a differentiable formulation of the split sum approximation of environment lighting to efficiently recover all-frequency lighting. Experiments show our extracted models used in advanced scene editing, material decomposition, and high quality view interpolation, all running at interactive rates in triangle-based renderers (rasterizers and path tracers). Project website: https://nvlabs.github.io/nvdiffrec/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI