SuperPC: A Single Diffusion Model for Point Cloud Completion, Upsampling, Denoising, and Colorization

要約

Point Cloud（PC）の処理タスクなど、完了、アップサンプリング、除去、および着色など、自律運転や3D再建などのアプリケーションでは重要です。
実質的な進歩にもかかわらず、以前のアプローチは、個々の問題に焦点を当てた個別のモデルを使用して、これらのタスクのそれぞれに個別に対処することがよくあります。
ただし、この孤立したアプローチは、不完全性、低解像度、ノイズ、色の欠如などの欠陥が頻繁に共存し、それぞれの欠陥が他の欠陥に影響を与え、相関するという事実を説明できません。
これらのモデルを順番に適用するだけで、各モデルからのエラーの蓄積につながり、計算コストが増加する可能性があります。
これらの課題に対処するために、4つのタスクすべてを同時に処理できる最初の統合拡散モデルであるSuperPCを導入します。
私たちのアプローチでは、同時に効率的な処理のためにこれらの4つの欠陥間の相関を活用するために、新しい空間ミックス融合戦略によって強化された3レベルの拡散フレームワークを採用しています。
SuperPCは、4つの個別のタスクすべてでの最先端の専門モデルとそれらの組み合わせを上回ることを示しています。

要約(オリジナル)

Point cloud (PC) processing tasks-such as completion, upsampling, denoising, and colorization-are crucial in applications like autonomous driving and 3D reconstruction. Despite substantial advancements, prior approaches often address each of these tasks independently, with separate models focused on individual issues. However, this isolated approach fails to account for the fact that defects like incompleteness, low resolution, noise, and lack of color frequently coexist, with each defect influencing and correlating with the others. Simply applying these models sequentially can lead to error accumulation from each model, along with increased computational costs. To address these challenges, we introduce SuperPC, the first unified diffusion model capable of concurrently handling all four tasks. Our approach employs a three-level-conditioned diffusion framework, enhanced by a novel spatial-mix-fusion strategy, to leverage the correlations among these four defects for simultaneous, efficient processing. We show that SuperPC outperforms the state-of-the-art specialized models as well as their combination on all four individual tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google