Uni-Fusion: Universal Continuous Mapping

要約

我々は、表面、表面特性（色、赤外など）、およびそれ以上（CLIP埋め込み空間における潜在特徴など）のための普遍的な連続マッピングフレームワークであるUni-Fusionを発表する。我々は、幾何学と異なるタイプの特性（RGB、赤外、特徴など）の両方の符号化を、学習を必要とせずにサポートする、初めての普遍的な暗黙的符号化モデルを提案する。これに基づいて、我々のフレームワークは、点群を規則的なグリッドボクセルに分割し、各ボクセルに潜在特徴を生成して、形状と任意の特性のための潜在暗黙写像（LIM）を形成する。そして、ローカルなLIMをフレーム単位でグローバルなLIMに融合することで、インクリメンタルな再構成を実現する。この潜在的陰解法マップは、対応するデータタイプでエンコードされ、連続曲面、表面特性フィールド、表面特徴フィールド、その他すべての可能なオプションを生成することができる。(1)表面と色のインクリメンタルな再構成 (2)製作された特性の2Dから3Dへの転送 (3)表面上にテキストCLIP特徴フィールドを作成することによる、オープン語彙によるシーン理解。Uni-Fusionは様々なアプリケーションで高い柔軟性を発揮し、最高のパフォーマンスを発揮します。Uni-Fusionのプロジェクトページは https://jarrome.github.io/Uni-Fusion/ にあります。

要約(オリジナル)

We present Uni-Fusion, a universal continuous mapping framework for surfaces, surface properties (color, infrared, etc.) and more (latent features in CLIP embedding space, etc.). We propose the first universal implicit encoding model that supports encoding of both geometry and different types of properties (RGB, infrared, features, etc.) without requiring any training. Based on this, our framework divides the point cloud into regular grid voxels and generates a latent feature in each voxel to form a Latent Implicit Map (LIM) for geometries and arbitrary properties. Then, by fusing a local LIM frame-wisely into a global LIM, an incremental reconstruction is achieved. Encoded with corresponding types of data, our Latent Implicit Map is capable of generating continuous surfaces, surface property fields, surface feature fields, and all other possible options. To demonstrate the capabilities of our model, we implement three applications: (1) incremental reconstruction for surfaces and color (2) 2D-to-3D transfer of fabricated properties (3) open-vocabulary scene understanding by creating a text CLIP feature field on surfaces. We evaluate Uni-Fusion by comparing it in corresponding applications, from which Uni-Fusion shows high-flexibility in various applications while performing best or being competitive. The project page of Uni-Fusion is available at https://jarrome.github.io/Uni-Fusion/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL