Grounding Continuous Representations in Geometry: Equivariant Neural Fields

要約

条件付きニューラルフィールド(CNF)は、各データサンプルを、サンプルを再構成するために共有バックボーン・ニューラルフィールド(NeF)を条件付ける潜在変数と関連付けることで、連続信号表現として活用されつつある。しかし、既存のCNFアーキテクチャは、分類やセグメンテーションのような細かい幾何学的推論を必要とするタスクにおいて、この潜在的な下流を使用する際に限界に直面している。これは、CNFの潜在空間における幾何学的情報（例えば、信号の局所性や特徴の向き）を明示的にモデル化していないことに起因すると我々は仮定する。そのため、我々は、幾何学的変数である特徴量の潜在点群に対してNeFを条件付けるために、幾何学的情報に基づいたクロスアテンションを使用する新しいCNFアーキテクチャである、等変量ニューラルフィールド（ENF）を提案する。このアプローチにより、フィールドと潜在の両方が幾何学的な根拠を持ち、変換法則に従順であるという操舵性の特性が得られることを示す。重要なことは、この等変量関係により、潜在が（1）幾何学的パターンを忠実に表現できることが保証され、潜在空間における幾何学的推論が可能になること、（2）類似の局所パターンに対する重み共有が可能になり、場のデータセットの効率的な学習が可能になることである。我々は、分類、セグメンテーション、予測、再構成を含む様々なタスクにおいて、これらの主要な性質を検証し、幾何学的パターンを持たない潜在空間を用いたベースラインよりも明らかに改善されることを示す。

要約(オリジナル)

Conditional Neural Fields (CNFs) are increasingly being leveraged as continuous signal representations, by associating each data-sample with a latent variable that conditions a shared backbone Neural Field (NeF) to reconstruct the sample. However, existing CNF architectures face limitations when using this latent downstream in tasks requiring fine grained geometric reasoning, such as classification and segmentation. We posit that this results from lack of explicit modelling of geometric information (e.g. locality in the signal or the orientation of a feature) in the latent space of CNFs. As such, we propose Equivariant Neural Fields (ENFs), a novel CNF architecture which uses a geometry-informed cross-attention to condition the NeF on a geometric variable, a latent point cloud of features, that enables an equivariant decoding from latent to field. We show that this approach induces a steerability property by which both field and latent are grounded in geometry and amenable to transformation laws: if the field transforms, the latent representation transforms accordingly – and vice versa. Crucially, this equivariance relation ensures that the latent is capable of (1) representing geometric patterns faitfhully, allowing for geometric reasoning in latent space, (2) weight-sharing over similar local patterns, allowing for efficient learning of datasets of fields. We validate these main properties in a range of tasks including classification, segmentation, forecasting and reconstruction, showing clear improvement over baselines with a geometry-free latent space.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL