P2M2-Net: Part-Aware Prompt-Guided Multimodal Point Cloud Completion

要約

ひどく遮蔽された点群から欠落領域を推測することは非常に困難です。
特に、豊富なジオメトリと構造の詳細を含む 3D 形状の場合、未知の部分の固有の曖昧さが存在します。
既存のアプローチは、教師ありの方法で 1 対 1 のマッピングを学習するか、生成モデルをトレーニングして欠落している点を合成して 3D 点群形状を完成させます。
ただし、これらの方法には完了プロセスの制御性が欠けており、結果は決定的であるか、制御されていない多様性を示します。
プロンプト主導のデータ生成と編集からインスピレーションを得て、私たちは、より制御可能でより多様な形状の完成を可能にする、新しいプロンプトガイド付き点群完成フレームワーク (P2M2-Net という造語) を提案します。
入力部分点群と、欠落領域のセマンティクスや構造などの部分認識情報を説明するテキスト プロンプトが与えられると、Transformer ベースの補完ネットワークはマルチモーダル機能を効率的に融合し、プロンプト ガイダンスに従って多様な結果を生成できます。
新しい大規模な PartNet-Prompt データセットで P2M2-Net をトレーニングし、2 つの困難な形状完成ベンチマークで広範な実験を実施します。
定量的および定性的な結果は、より制御可能な部分認識点群の完成と生成のためのプロンプトを組み込むことの有効性を示しています。
コードとデータは https://github.com/JLU-ICL/P2M2-Net で入手できます。

要約(オリジナル)

Inferring missing regions from severely occluded point clouds is highly challenging. Especially for 3D shapes with rich geometry and structure details, inherent ambiguities of the unknown parts are existing. Existing approaches either learn a one-to-one mapping in a supervised manner or train a generative model to synthesize the missing points for the completion of 3D point cloud shapes. These methods, however, lack the controllability for the completion process and the results are either deterministic or exhibiting uncontrolled diversity. Inspired by the prompt-driven data generation and editing, we propose a novel prompt-guided point cloud completion framework, coined P2M2-Net, to enable more controllable and more diverse shape completion. Given an input partial point cloud and a text prompt describing the part-aware information such as semantics and structure of the missing region, our Transformer-based completion network can efficiently fuse the multimodal features and generate diverse results following the prompt guidance. We train the P2M2-Net on a new large-scale PartNet-Prompt dataset and conduct extensive experiments on two challenging shape completion benchmarks. Quantitative and qualitative results show the efficacy of incorporating prompts for more controllable part-aware point cloud completion and generation. Code and data are available at https://github.com/JLU-ICL/P2M2-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google