3D Hole Filling using Deep Learning Inpainting

要約

現在の研究では、意味のある幾何学的データが不足している場所で 3D デジタル化テクノロジーから生成された 3D サーフェスを完成させるための新しい方法論が提示されています。
これらの 3 次元 (3D) モデル内のデータが不完全または欠落していると、レンダリングに誤りや欠陥が生じ、視覚化、幾何学的計算、3D プリンティングなどのさまざまなアプリケーションでの有用性が制限される可能性があります。
従来の表面推定アプローチでは、特に複雑な表面を扱う場合、信じられない結果が生じることがよくあります。
この問題に対処するために、ニューラル ネットワーク ベースの 2D 修復を組み込んで 3D サーフェスを効果的に再構築する手法を提案します。
カスタマイズされたニューラル ネットワークは、100 万を超える曲率画像を含むデータセットでトレーニングされました。
これらの画像は、頂点の曲率を 2D の平面表現として示しています。
さらに、粗い表面から細かい表面への変形技術を使用して、再構成された画像の精度を向上させ、表面の適応性を確保しました。
この戦略により、システムは入力データからパターンを学習して一般化することができ、その結果、正確で包括的な 3 次元表面が開発されます。
当社の手法は形状完成プロセスに優れており、驚くべきレベルのリアリズムと精度で 3 次元表面の複雑な穴を効果的に埋めます。

要約(オリジナル)

The current work presents a novel methodology for completing 3D surfaces produced from 3D digitization technologies in places where there is a scarcity of meaningful geometric data. Incomplete or missing data in these three-dimensional (3D) models can lead to erroneous or flawed renderings, limiting their usefulness in a variety of applications such as visualization, geometric computation, and 3D printing. Conventional surface estimation approaches often produce implausible results, especially when dealing with complex surfaces. To address this issue, we propose a technique that incorporates neural network-based 2D inpainting to effectively reconstruct 3D surfaces. Our customized neural networks were trained on a dataset containing over 1 million curvature images. These images show the curvature of vertices as planar representations in 2D. Furthermore, we used a coarse-to-fine surface deformation technique to improve the accuracy of the reconstructed pictures and assure surface adaptability. This strategy enables the system to learn and generalize patterns from input data, resulting in the development of precise and comprehensive three-dimensional surfaces. Our methodology excels in the shape completion process, effectively filling complex holes in three-dimensional surfaces with a remarkable level of realism and precision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google