iPUNet:Iterative Cross Field Guided Point Cloud Upsampling

要約

3D スキャン デバイスによって取得された点群は、多くの場合、まばらで、ノイズが多く、不均一であり、幾何学的特徴の損失を引き起こします。
このような入力が与えられた場合に、下流のアプリケーションで点群を使いやすくするために、任意の比率で高密度で均一な点を生成し、鮮明な特徴をより適切に捕捉する、学習ベースの点アップサンプリング手法、つまり iPUNet を提案します。
特徴を認識したポイントを生成するために、自己監視によって鋭い幾何学的特徴に位置合わせされたクロス フィールドを導入して、ポイント生成をガイドします。
クロスフィールドで定義されたフレームを考慮すると、各入力ポイントでローカルのパラメーター化された曲面を学習することで、任意の比率のアップサンプリングが可能になります。
学習されたサーフェスは、隣接するポイントと 2D 接平面座標を入力として使用し、出力ポイントの任意の比率をサンプリングできる 3D の連続サーフェスにマッピングします。
入力ポイントの不均一性を解決するために、クロス フィールド ガイド付きアップサンプリングに加えて、各反復でまばらなポイントを目的の連続 3D サーフェス上に移動することでポイント分布を洗練する反復戦略をさらに導入します。
わずか数回の反復で、疎な点が均等に分散され、対応する密なサンプルがより均一になり、幾何学的特徴をよりよく捕捉できるようになります。
オブジェクトやシーンのさまざまなスキャンに関する広範な評価を通じて、iPUNet がノイズの多い不均一に分散された入力を処理するのに堅牢であり、最先端の点群アップサンプリング手法を上回るパフォーマンスを発揮することを実証しました。

要約(オリジナル)

Point clouds acquired by 3D scanning devices are often sparse, noisy, and non-uniform, causing a loss of geometric features. To facilitate the usability of point clouds in downstream applications, given such input, we present a learning-based point upsampling method, i.e., iPUNet, which generates dense and uniform points at arbitrary ratios and better captures sharp features. To generate feature-aware points, we introduce cross fields that are aligned to sharp geometric features by self-supervision to guide point generation. Given cross field defined frames, we enable arbitrary ratio upsampling by learning at each input point a local parameterized surface. The learned surface consumes the neighboring points and 2D tangent plane coordinates as input, and maps onto a continuous surface in 3D where arbitrary ratios of output points can be sampled. To solve the non-uniformity of input points, on top of the cross field guided upsampling, we further introduce an iterative strategy that refines the point distribution by moving sparse points onto the desired continuous 3D surface in each iteration. Within only a few iterations, the sparse points are evenly distributed and their corresponding dense samples are more uniform and better capture geometric features. Through extensive evaluations on diverse scans of objects and scenes, we demonstrate that iPUNet is robust to handle noisy and non-uniformly distributed inputs, and outperforms state-of-the-art point cloud upsampling methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google