DiffComplete: Diffusion-based Generative 3D Shape Completion

要約

3D 範囲スキャンで形状を完成させるための新しい拡散ベースのアプローチを導入します。
以前の決定論的および確率論的な方法と比較して、リアリズム、マルチモダリティ、および高忠実度の間でバランスが取れています。
不完全形状を条件とした生成タスクとして形状補完をキャストすることによる DiffComplete を提案します。
私たちの主要なデザインは 2 つあります。
まず、空間的に一貫した方法で条件付き特徴を注入するための階層的特徴集約メカニズムを考案します。
したがって、条件付き入力の局所的な詳細とより広範なコンテキストの両方をキャプチャして、形状の完成を制御できます。
次に、複数の部分形状の完成を可能にし、入力条件に高い柔軟性を導入するために、モデル内で占有を意識した融合戦略を提案します。
DiffComplete は、2 つの大規模な 3D 形状完成ベンチマークで新しい SOTA パフォーマンス (l_1 エラーの 40% 減少など) を設定します。
私たちの完成した形状は、決定論的手法と比較して現実的な見通しを持っているだけでなく、確率論的手法と比較してグラウンドトゥルースとの高い類似性を示します。
さらに、DiffComplete は、合成データと実際のデータの両方について、まったく目に見えないクラスのオブジェクトに対する強力な一般化機能を備えているため、さまざまなアプリケーションでモデルを再トレーニングする必要がなくなります。

要約(オリジナル)

We introduce a new diffusion-based approach for shape completion on 3D range scans. Compared with prior deterministic and probabilistic methods, we strike a balance between realism, multi-modality, and high fidelity. We propose DiffComplete by casting shape completion as a generative task conditioned on the incomplete shape. Our key designs are two-fold. First, we devise a hierarchical feature aggregation mechanism to inject conditional features in a spatially-consistent manner. So, we can capture both local details and broader contexts of the conditional inputs to control the shape completion. Second, we propose an occupancy-aware fusion strategy in our model to enable the completion of multiple partial shapes and introduce higher flexibility on the input conditions. DiffComplete sets a new SOTA performance (e.g., 40% decrease on l_1 error) on two large-scale 3D shape completion benchmarks. Our completed shapes not only have a realistic outlook compared with the deterministic methods but also exhibit high similarity to the ground truths compared with the probabilistic alternatives. Further, DiffComplete has strong generalizability on objects of entirely unseen classes for both synthetic and real data, eliminating the need for model re-training in various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google