Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion

要約

スキャン デバイスによってキャプチャされた点群は、多くの場合、オクルージョンのために不完全です。
点群補完は、部分的な入力に基づいて完全な形状を予測することを目的としています。
既存の方法は、教師あり方法と教師なし方法に分類できます。
ただし、どちらも多数の完全な 3D 点群が必要であり、キャプチャが困難です。
この論文では、3D完全な点群を必要としない教師なし点群補完方法であるCross-PCCを提案します。
完全なオブジェクトの 2D 画像のみを使用します。これは、3D の完全でクリーンな点群よりもキャプチャが容易です。
具体的には、2D 画像からの補完的な情報を利用するために、単一ビューの RGB 画像を使用して 2D 特徴を抽出し、部分的な点群から抽出された 2D および 3D 特徴を融合する融合モジュールを設計します。
予測点群の形状をガイドするために、オブジェクトの予測点を 2D 平面に投影し、そのシルエット マップの前景ピクセルを使用して投影点の位置を制限します。
予測された点群の外れ値を減らすために、単一ビューのシルエット画像によって背景に投影された点を前景に移動するビューキャリブレーターを提案します。
私たちの知る限り、私たちのアプローチは、3D 監視を必要としない最初の点群補完方法です。
私たちの方法の実験結果は、最先端の教師なし方法の結果よりも大幅に優れています。
さらに、いくつかの監視された方法と比較して、私たちの方法は同様のパフォーマンスを達成します。
ソースコードは https://github.com/ltwu6/cross-pcc で公開します。

要約(オリジナル)

Point clouds captured by scanning devices are often incomplete due to occlusion. Point cloud completion aims to predict the complete shape based on its partial input. Existing methods can be classified into supervised and unsupervised methods. However, both of them require a large number of 3D complete point clouds, which are difficult to capture. In this paper, we propose Cross-PCC, an unsupervised point cloud completion method without requiring any 3D complete point clouds. We only utilize 2D images of the complete objects, which are easier to capture than 3D complete and clean point clouds. Specifically, to take advantage of the complementary information from 2D images, we use a single-view RGB image to extract 2D features and design a fusion module to fuse the 2D and 3D features extracted from the partial point cloud. To guide the shape of predicted point clouds, we project the predicted points of the object to the 2D plane and use the foreground pixels of its silhouette maps to constrain the position of the projected points. To reduce the outliers of the predicted point clouds, we propose a view calibrator to move the points projected to the background into the foreground by the single-view silhouette image. To the best of our knowledge, our approach is the first point cloud completion method that does not require any 3D supervision. The experimental results of our method are superior to those of the state-of-the-art unsupervised methods by a large margin. Moreover, compared to some supervised methods, our method achieves similar performance. We will make the source code publicly available at https://github.com/ltwu6/cross-pcc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google