ReFiNe: Recursive Field Networks for Cross-modal Multi-scene Representation

要約

マルチシェイプ表現（複数のオブジェクトを「パッキング」する単一モデル）のための最先端の手法の一般的なトレードオフには、モデリングの精度とメモリおよびストレージのトレードオフが含まれます。
連続ニューラル フィールドとして表現される複数の形状を、以前よりも高い精度で、メモリ使用量を抑えてエンコードする方法を示します。
私たちのアプローチの鍵となるのは、オブジェクトの自己相似性を利用し、高度に圧縮された効率的な形状潜在空間をもたらす再帰的階層定式化です。
再帰的定式化のおかげで、私たちの方法は、補助データ構造の初期化と維持を必要とせずに、空間的およびグローバルからローカルへの潜在特徴の融合をサポートしながら、レイトレーシングなどのアプリケーションを可能にする連続フィールド クエリを可能にします。
一連の多様なデータセットに対する実験では、説得力のある定性的な結果を提供し、データセットごとに単一のネットワークを使用した最先端のマルチシーンの再構築と圧縮の結果を実証します。

要約(オリジナル)

The common trade-offs of state-of-the-art methods for multi-shape representation (a single model ‘packing’ multiple objects) involve trading modeling accuracy against memory and storage. We show how to encode multiple shapes represented as continuous neural fields with a higher degree of precision than previously possible and with low memory usage. Key to our approach is a recursive hierarchical formulation that exploits object self-similarity, leading to a highly compressed and efficient shape latent space. Thanks to the recursive formulation, our method supports spatial and global-to-local latent feature fusion without needing to initialize and maintain auxiliary data structures, while still allowing for continuous field queries to enable applications such as raytracing. In experiments on a set of diverse datasets, we provide compelling qualitative results and demonstrate state-of-the-art multi-scene reconstruction and compression results with a single network per dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google