Multiview Textured Mesh Recovery by Differentiable Rendering

要約

自己監視による形状と色の回復に関して有望な結果を達成しましたが、多層パーセプトロンベースの方法は通常、深い陰関数曲面表現の学習に多大な計算コストをかけます。
各ピクセルのレンダリングにはフォワードネットワーク推論が必要なため、画像全体を合成することは非常に計算集約的です。
これらの課題に取り組むために、この論文では、マルチビューからテクスチャメッシュを復元するための効果的な粗いアプローチから細かいアプローチを提案します。
具体的には、微分可能なポアソンソルバーを使用してオブジェクトの形状を表現します。これにより、トポロジにとらわれない防水性のある表面を生成できます。
深度情報を説明するために、レンダリングされたメッシュとマルチビューステレオから予測された深度との差を最小化することにより、形状ジオメトリを最適化します。
形状と色の暗黙的なニューラル表現とは対照的に、物理ベースの逆レンダリングスキームを導入して、環境照明とオブジェクトの反射率を共同で推定します。これにより、高解像度の画像をリアルタイムでレンダリングできます。
再構築されたメッシュのテクスチャは、学習可能な高密度テクスチャグリッドから補間されます。
いくつかのマルチビューステレオデータセットで広範な実験を実施しました。その有望な結果は、提案されたアプローチの有効性を示しています。
コードはhttps://github.com/l1346792580123/diffで入手できます。

要約(オリジナル)

Although having achieved the promising results on shape and color recovery through self-supervision, the multi-layer perceptrons-based methods usually suffer from heavy computational cost on learning the deep implicit surface representation. Since rendering each pixel requires a forward network inference, it is very computational intensive to synthesize a whole image. To tackle these challenges, we propose an effective coarse-to-fine approach to recover the textured mesh from multi-views in this paper. Specifically, a differentiable Poisson Solver is employed to represent the object’s shape, which is able to produce topology-agnostic and watertight surfaces. To account for depth information, we optimize the shape geometry by minimizing the differences between the rendered mesh and the predicted depth from multi-view stereo. In contrast to the implicit neural representation on shape and color, we introduce a physically based inverse rendering scheme to jointly estimate the environment lighting and object’s reflectance, which is able to render the high resolution image at real-time. The texture of the reconstructed mesh is interpolated from a learnable dense texture grid. We have conducted the extensive experiments on several multi-view stereo datasets, whose promising results demonstrate the efficacy of our proposed approach. The code is available at https://github.com/l1346792580123/diff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google