Self-supervised 3D Point Cloud Completion via Multi-view Adversarial Learning

要約

現実世界のシナリオでは、オクルージョンの問題により、スキャンされた点群が不完全になることがよくあります。
自己監視型点群を完成させるタスクには、完全なグラウンド トゥルースの監視なしで、これらの不完全なオブジェクトの欠落領域を再構築することが含まれます。
現在の自己教師あり手法は、教師のために部分観察の複数のビューに依存するか、または特定の部分点群から特定して利用できる本質的な幾何学的類似性を見落とすかのいずれかです。
この論文では、オブジェクト レベルとカテゴリ固有の幾何学的類似性の両方を効果的に活用して、欠落している構造を完成させるフレームワークである MAL-SPC を提案します。
当社の MAL-SPC は 3D の完全な監視を必要とせず、オブジェクトごとに単一の部分点群のみが必要です。
具体的には、まずパターン検索ネットワークを導入して、部分入力と予測された形状の間で類似した位置と曲率のパターンを取得し、次にこれらの類似性を活用して再構成された結果を緻密化し、洗練させます。
さらに、再構成された完全な形状をマルチビュー深度マップにレンダリングし、カテゴリ固有の単一ビュー深度画像からターゲット形状の幾何学形状を学習する敵対的学習モジュールを設計します。
異方性レンダリングを実現するために、密度を考慮した半径推定アルゴリズムを設計し、レンダリングされたイメージの品質を向上させます。
当社の MAL-SPC は、現在の最先端の方法と比較して最良の結果をもたらします。ソース コードは \url{https://github.com/ltwu6/malspc で公開します。

要約(オリジナル)

In real-world scenarios, scanned point clouds are often incomplete due to occlusion issues. The task of self-supervised point cloud completion involves reconstructing missing regions of these incomplete objects without the supervision of complete ground truth. Current self-supervised methods either rely on multiple views of partial observations for supervision or overlook the intrinsic geometric similarity that can be identified and utilized from the given partial point clouds. In this paper, we propose MAL-SPC, a framework that effectively leverages both object-level and category-specific geometric similarities to complete missing structures. Our MAL-SPC does not require any 3D complete supervision and only necessitates a single partial point cloud for each object. Specifically, we first introduce a Pattern Retrieval Network to retrieve similar position and curvature patterns between the partial input and the predicted shape, then leverage these similarities to densify and refine the reconstructed results. Additionally, we render the reconstructed complete shape into multi-view depth maps and design an adversarial learning module to learn the geometry of the target shape from category-specific single-view depth images. To achieve anisotropic rendering, we design a density-aware radius estimation algorithm to improve the quality of the rendered images. Our MAL-SPC yields the best results compared to current state-of-the-art methods.We will make the source code publicly available at \url{https://github.com/ltwu6/malspc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google