DiffPMAE: Diffusion Masked Autoencoders for Point Cloud Reconstruction

要約

点群ストリーミングはますます人気が高まっており、インタラクティブなサービス配信と将来のメタバースの標準に進化しています。
ただし、点群に関連する大量のデータには、特に帯域幅の消費量と大容量のストレージという点で多くの課題があります。
点群の圧縮、アップサンプリング、補完に重点を置いたこれまでのさまざまなソリューションが提案されているにもかかわらず、これらの再構成関連の方法は、忠実度の高い点群出力を提供するには依然として不十分です。
解決策として、DiffPMAE では、効果的な点群再構成アーキテクチャを提案します。
自己教師あり学習の概念に触発され、マスクされた自動エンコーディングと拡散モデルのメカニズムを組み合わせて、点群データをリモートで再構築します。
この再構成プロセスの性質上、DiffPMAE は、点群圧縮、アップサンプリング、完了などの多くの関連する下流タスクに拡張できます。
60,000 を超えるオブジェクトを含む ShapeNet-55 および ModelNet データセットを活用し、自動エンコーディングと考慮されたダウンストリーム タスクの点で、多くの最先端の方法を超える DiffPMAE のパフォーマンスを検証します。

要約(オリジナル)

Point cloud streaming is increasingly getting popular, evolving into the norm for interactive service delivery and the future Metaverse. However, the substantial volume of data associated with point clouds presents numerous challenges, particularly in terms of high bandwidth consumption and large storage capacity. Despite various solutions proposed thus far, with a focus on point cloud compression, upsampling, and completion, these reconstruction-related methods continue to fall short in delivering high fidelity point cloud output. As a solution, in DiffPMAE, we propose an effective point cloud reconstruction architecture. Inspired by self-supervised learning concepts, we combine Masked Auto-Encoding and Diffusion Model mechanism to remotely reconstruct point cloud data. By the nature of this reconstruction process, DiffPMAE can be extended to many related downstream tasks including point cloud compression, upsampling and completion. Leveraging ShapeNet-55 and ModelNet datasets with over 60000 objects, we validate the performance of DiffPMAE exceeding many state-of-the-art methods in-terms of auto-encoding and downstream tasks considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google