Enhancing Surface Neural Implicits with Curvature-Guided Sampling and Uncertainty-Augmented Representations

要約

ニューラル暗黙的表現は、解像度の適応性と複雑なトポロジのサポートにより、サーフェスをモデリングするための一般的な選択肢となっています。
これまでの研究では、グラウンド トゥルース ポイント クラウドまたはメッシュでトレーニングすることにより、優れた再構築品質を実現しましたが、多くの場合、データ取得については説明されておらず、再構築中の入力品質とサンプリング方法の影響が無視されています。
この論文では、高忠実度の 3D 再構成タスクのために深度画像を直接ダイジェストする方法を紹介します。
この目的を達成するために、最小限の計算コストで入力深度画像に基づいて直接計算された微分可能な幾何学的特徴を組み込むことにより、非常に効果的なトレーニング データを生成するシンプルなサンプリング戦略が提案されています。
そのシンプルさにより、当社のサンプリング戦略はさまざまな一般的な手法に簡単に組み込むことができ、トレーニング プロセスをより安定して効率的に行うことができます。
そのシンプルさにも関わらず、私たちの手法は従来のベースラインと学習ベースのベースラインの両方を上回り、合成データセットと現実世界のデータセットの両方で最先端の結果を示します。

要約(オリジナル)

Neural implicit representations have become a popular choice for modeling surfaces due to their adaptability in resolution and support for complex topology. While previous works have achieved impressive reconstruction quality by training on ground truth point clouds or meshes, they often do not discuss the data acquisition and ignore the effect of input quality and sampling methods during reconstruction. In this paper, we introduce a method that directly digests depth images for the task of high-fidelity 3D reconstruction. To this end, a simple sampling strategy is proposed to generate highly effective training data, by incorporating differentiable geometric features computed directly based on the input depth images with only marginal computational cost. Due to its simplicity, our sampling strategy can be easily incorporated into diverse popular methods, allowing their training process to be more stable and efficient. Despite its simplicity, our method outperforms a range of both classical and learning-based baselines and demonstrates state-of-the-art results in both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google