SVDFormer: Complementing Point Cloud via Self-view Augmentation and Self-structure Dual-generator

要約

この論文では、不完全な点群から忠実なグローバル形状を理解することと、高精度のローカル構造を生成することという、点群の完成における 2 つの具体的な課題に取り組むための新しいネットワーク SVDFormer を提案します。
現在の方法では、3D 座標のみを使用して形状パターンを認識するか、適切に調整された固有パラメータを含む追加の画像をインポートして、欠落部分の形状推定をガイドします。
ただし、これらのアプローチは、正確かつ高品質の点群を完成させるために利用できるクロスモーダル自己構造を常に完全に活用しているわけではありません。
この目的を達成するために、まず、複数のビューの深度画像情報を活用して不完全な自己形状を観察し、コンパクトなグローバル形状を生成するセルフビュー フュージョン ネットワークを設計します。
非常に詳細な構造を明らかにするために、自己構造デュアルジェネレーターと呼ばれる改良モジュールを導入します。このモジュールには、新しい点を生成するために学習された形状事前分布と幾何学的自己相似性が組み込まれています。
各ポイントの不完全性を認識することにより、デュアルパス設計は、各ポイントの構造タイプに条件付けされた洗練戦略を解きほぐします。
SVDFormer は自己構造の知恵を吸収し、正確に調整されたカメラ固有パラメータを備えたカラー画像などの追加のペア情報を回避します。
包括的な実験により、私たちの手法が広く使用されているベンチマークで最先端のパフォーマンスを達成できることが示されました。
コードは https://github.com/czvvd/SVDFormer で入手できます。

要約(オリジナル)

In this paper, we propose a novel network, SVDFormer, to tackle two specific challenges in point cloud completion: understanding faithful global shapes from incomplete point clouds and generating high-accuracy local structures. Current methods either perceive shape patterns using only 3D coordinates or import extra images with well-calibrated intrinsic parameters to guide the geometry estimation of the missing parts. However, these approaches do not always fully leverage the cross-modal self-structures available for accurate and high-quality point cloud completion. To this end, we first design a Self-view Fusion Network that leverages multiple-view depth image information to observe incomplete self-shape and generate a compact global shape. To reveal highly detailed structures, we then introduce a refinement module, called Self-structure Dual-generator, in which we incorporate learned shape priors and geometric self-similarities for producing new points. By perceiving the incompleteness of each point, the dual-path design disentangles refinement strategies conditioned on the structural type of each point. SVDFormer absorbs the wisdom of self-structures, avoiding any additional paired information such as color images with precisely calibrated camera intrinsic parameters. Comprehensive experiments indicate that our method achieves state-of-the-art performance on widely-used benchmarks. Code will be available at https://github.com/czvvd/SVDFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google