CD$^2$: Fine-grained 3D Mesh Reconstruction with Twice Chamfer Distance

要約

単眼3D再構成は、1枚のRGB画像から物体の形状などの情報を再構成するものである。3D再構成では、深層学習モデルから得られる表現形式として、詳細な表面情報を持ち、計算コストの低いポリゴンメッシュが主流である。しかし、最先端の方式では、十分に構造化されたメッシュを直接生成することができず、ほとんどのメッシュがVertices Clustering (VC) とIllegal Twist (IT) という2つの深刻な問題を抱えている。我々は、メッシュの変形プロセスに潜入することで、深層学習モデルの学習において、面取り距離（CD）損失の不適切な使用がVCとITの問題の根本原因であることを突き止めた。本論文では、まず、CDロスが引き起こすこれら2つの問題を、視覚的な例と定量的な分析によって示す。そして、Chamfer距離を2回採用し、もっともらしい適応的な変形を行うことで、きめ細かい再構成手法CD$^2$を提案する。2つの3Dデータセットに対する広範な実験と、最新の5つの方式との比較により、我々のCD$^2$は直接的に良好な構造のメッシュを生成し、VCとIT問題を緩和することで他を凌駕することを実証する。

要約(オリジナル)

Monocular 3D reconstruction is to reconstruct the shape of object and its other information from a single RGB image. In 3D reconstruction, polygon mesh, with detailed surface information and low computational cost, is the most prevalent expression form obtained from deep learning models. However, the state-of-the-art schemes fail to directly generate well-structured meshes, and most of meshes have two severe problems Vertices Clustering (VC) and Illegal Twist (IT). By diving into the mesh deformation process, we pinpoint that the inappropriate usage of Chamfer Distance (CD) loss is the root causes of VC and IT problems in the training of deep learning model. In this paper, we initially demonstrate these two problems induced by CD loss with visual examples and quantitative analyses. Then, we propose a fine-grained reconstruction method CD$^2$ by employing Chamfer distance twice to perform a plausible and adaptive deformation. Extensive experiments on two 3D datasets and comparisons with five latest schemes demonstrate that our CD$^2$ directly generates well-structured meshes and outperforms others by alleviating VC and IT problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL