RefComp: A Reference-guided Unified Framework for Unpaired Point Cloud Completion

要約

対応のないポイントクラウド完了タスクは、グラウンドトゥルースなしで訓練されたモデルを使用して、部分ポイントクラウドを完成させることを目的としています。
既存の対応のないポイントクラウド完了方法はクラスを意識しています。つまり、各オブジェクトクラスに別のモデルが必要です。
一般化能力が限られているため、これらのメソッドは、一般的な3Dオブジェクトの幅広いポイントクラウドに直面した場合、実際のシナリオでは性能が低くなります。
このホワイトペーパーでは、斬新な対応のないポイントクラウド完了フレームワーク、つまり、クラスアウェアとクラスに依存しないトレーニング設定の両方で強力なパフォーマンスを達成する参照ガイド付き完了（RefComp）フレームワークを提案します。
RefCOMPフレームワークは、未熟な完了問題を形状翻訳問題に変換します。これは、部分ポイント雲の潜在的な特徴空間で解決されます。
この目的のために、部分的なポイントクラウドペアの使用を導入します。これは、部分的なポイントクラウドを使用してテンプレートとして完了することによって取得されます。
これらのポイントクラウドペアは、完了プロセスをガイドするための参照データとして使用されます。
RefCompフレームワークは、参照ブランチとターゲットブランチを使用して、潜在形状融合モジュール（LSFM）を介した形状融合と形状翻訳の共有パラメーターを備えたパラメーターを使用して、完了パイプラインに沿った構造的特徴を強化します。
広範な実験は、RefCompフレームワークがクラ​​スを意識したトレーニング設定で最先端のパフォーマンスを達成するだけでなく、仮想スキャンと現実世界のデータセットの両方でクラスに依存しないトレーニング設定で競争力のある結果を達成することを示しています。

要約(オリジナル)

The unpaired point cloud completion task aims to complete a partial point cloud by using models trained with no ground truth. Existing unpaired point cloud completion methods are class-aware, i.e., a separate model is needed for each object class. Since they have limited generalization capabilities, these methods perform poorly in real-world scenarios when confronted with a wide range of point clouds of generic 3D objects. In this paper, we propose a novel unpaired point cloud completion framework, namely the Reference-guided Completion (RefComp) framework, which attains strong performance in both the class-aware and class-agnostic training settings. The RefComp framework transforms the unpaired completion problem into a shape translation problem, which is solved in the latent feature space of the partial point clouds. To this end, we introduce the use of partial-complete point cloud pairs, which are retrieved by using the partial point cloud to be completed as a template. These point cloud pairs are used as reference data to guide the completion process. Our RefComp framework uses a reference branch and a target branch with shared parameters for shape fusion and shape translation via a Latent Shape Fusion Module (LSFM) to enhance the structural features along the completion pipeline. Extensive experiments demonstrate that the RefComp framework achieves not only state-of-the-art performance in the class-aware training setting but also competitive results in the class-agnostic training setting on both virtual scans and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google