Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask

要約

画像ベースの 3D 再構成は、コンピューター ビジョンとグラフィックスの最新の改善により、過去数年間でますます驚くべき結果をもたらしています。
ジオメトリとトポロジは、3D メッシュ構造を扱う際の 2 つの基本的な概念です。
しかし、最新のものは、3D メッシュベースの再構築に関する文献では、しばしば副次的な問題として残っています。
実際、3D 球体メッシュで頂点単位の基本変位を実行しても、そのジオメトリに影響するだけで、トポロジ構造は変更されず、固定されたままになります。
ジオメトリとトポロジを更新することを提案する試みはほとんどありませんが、剪定する面/エッジを決定するには、コストのかかる 3D グラウンド トゥルースに頼る必要があります。
この作業では、2D アルファ マスクとカメラ ポーズ情報に大きく依存する顔の刈り込み戦略を通じて、3D メッシュのトポロジを改良することを目的とした方法を提示します。
私たちのソリューションは、各面を 2D ソフト マップとしてレンダリングする微分可能なレンダラーを活用します。
そのピクセル強度は、レンダリング プロセス中にそのような顔に覆われる可能性を反映しています。
利用可能な 2D ソフト マスクに基づいて、この方法では、特定の視点に対して正しくレンダリングされていない顔をすべてすばやく強調表示できます。
私たちのモジュールは 3D メッシュを生成するネットワークに依存しないため、任意の自己教師あり画像ベース (合成または自然) 3D 再構成パイプラインに簡単にプラグインして、非球状トポロジーの複雑なメッシュを取得できます。

要約(オリジナル)

Image-based 3D reconstruction has increasingly stunning results over the past few years with the latest improvements in computer vision and graphics. Geometry and topology are two fundamental concepts when dealing with 3D mesh structures. But the latest often remains a side issue in the 3D mesh-based reconstruction literature. Indeed, performing per-vertex elementary displacements over a 3D sphere mesh only impacts its geometry and leaves the topological structure unchanged and fixed. Whereas few attempts propose to update the geometry and the topology, all need to lean on costly 3D ground-truth to determine the faces/edges to prune. We present in this work a method that aims to refine the topology of any 3D mesh through a face-pruning strategy that extensively relies upon 2D alpha masks and camera pose information. Our solution leverages a differentiable renderer that renders each face as a 2D soft map. Its pixel intensity reflects the probability of being covered during the rendering process by such a face. Based on the 2D soft-masks available, our method is thus able to quickly highlight all the incorrectly rendered faces for a given viewpoint. Because our module is agnostic to the network that produces the 3D mesh, it can be easily plugged into any self-supervised image-based (either synthetic or natural) 3D reconstruction pipeline to get complex meshes with a non-spherical topology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google