Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with Distilled Semantic Features

要約

Diff3F は、テクスチャ化されていない入力形状 (メッシュまたは点群) に対して計算できる、シンプルで堅牢、クラスに依存しない特徴記述子として提供されます。
私たちの方法では、画像の基本モデルから入力形状に拡散特徴を抽出します。
具体的には、入力形状を使用して、条件付き画像合成のガイダンスとして深度マップと法線マップを生成し、その過程で 2D で (拡散) フィーチャを生成し、その後、元のサーフェス上でそれを持ち上げて集約します。
私たちの重要な観察は、入力形状のマルチビュー レンダリングから得られた条件付き画像生成が一貫性がない場合でも、関連する画像特徴は堅牢であり、ビュー全体で直接集約できるということです。
これにより、追加のデータやトレーニングを必要とせずに、入力形状にセマンティックな特徴が生成されます。
私たちは、複数のベンチマーク (SHREC’19、SHREC’20、および TOSCA) で広範な実験を実行し、幾何学的なものではなく意味論的な特徴が、アイソメトリックおよび非アイソメトリックに関連する形状ファミリーの両方にわたって信頼できる対応関係を生成することを実証しました。

要約(オリジナル)

We present Diff3F as a simple, robust, and class-agnostic feature descriptor that can be computed for untextured input shapes (meshes or point clouds). Our method distills diffusion features from image foundational models onto input shapes. Specifically, we use the input shapes to produce depth and normal maps as guidance for conditional image synthesis, and in the process produce (diffusion) features in 2D that we subsequently lift and aggregate on the original surface. Our key observation is that even if the conditional image generations obtained from multi-view rendering of the input shapes are inconsistent, the associated image features are robust and can be directly aggregated across views. This produces semantic features on the input shapes, without requiring additional data or training. We perform extensive experiments on multiple benchmarks (SHREC’19, SHREC’20, and TOSCA) and demonstrate that our features, being semantic instead of geometric, produce reliable correspondence across both isometeric and non-isometrically related shape families.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google