Uni-Fusion: Universal Continuous Mapping

要約

Uni-Fusion は、表面、表面のプロパティ (色、赤外線など) など (CLIP 埋め込み空間の潜在機能など) のユニバーサル連続マッピング フレームワークです。
トレーニングを必要とせずに、ジオメトリとさまざまなタイプのプロパティ (RGB、赤外線、機能など) の両方のエンコードをサポートする最初の Universal Implicit Encoding モデルを提案します。
それに基づいて、私たちのフレームワークは点群を規則的なグリッド ボクセルに分割し、各ボクセルに潜在的な特徴を生成して、ジオメトリと任意のプロパティの潜在的な暗黙のマップ (LIM) を形成します。
次に、新しいフレームのローカル LIM をグローバル LIM に融合することにより、インクリメンタルな再構築が行われます。
対応するタイプのデータでエンコードされた潜在的暗黙的マップは、連続サーフェス、サーフェス プロパティ フィールド、サーフェス フィーチャ フィールド、およびその他の可能なオプションを生成できます。
モデルの機能を実証するために、次の 3 つのアプリケーションを実装します。(1) 表面と色のインクリメンタル再構成 (2) 2D から 3D に作成されたプロパティの転送 (3) 表面にテキスト CLIP 機能フィールドを作成することによるオープン語彙シーンの理解
.
対応するアプリケーションで比較することにより、Uni-Fusion を評価します。そこから、Uni-Fusion は、最高または競争力のあるパフォーマンスを発揮しながら、さまざまなアプリケーションに対して高い柔軟性を示します。
Uni-Fusion のプロジェクト ページは https://jarrome.github.io/Uni-Fusion/ にあります。

要約(オリジナル)

We introduce Uni-Fusion, an universal continuous mapping framework for surfaces, surface properties (color, infrared, etc.) and more (latent features in CLIP embedding space, etc.). We propose the first Universal Implicit Encoding model that supports encoding of both geometry and various types of properties (RGB, infrared, feature and etc.) without the need for any training. Based on that, our framework divides the point cloud into regular grid voxels and produces a latent feature in each voxel to form a Latent Implicit Map (LIM) for geometries and arbitrary properties. Then, by fusing a Local LIM of new frame to Global LIM, an incremental reconstruction is approached. Encoded with corresponding types of data, our Latent Implicit Map is capable to generate continuous surfaces, surface properties fields, surface feature fields and any other possible options. To demonstrate the capabilities of our model, we implement three applications: (1) incremental reconstruction for surfaces and color (2) 2D-to-3D fabricated properties transfers (3) open-vocabulary scene understanding by producing a text CLIP feature field on surfaces. We evaluate Uni-Fusion by comparing in corresponding applications, from which, Uni-Fusion shows high flexibility to various of application while performing best or competitive. The project page of Uni-Fusion is available at https://jarrome.github.io/Uni-Fusion/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google