Grounding Continuous Representations in Geometry: Equivariant Neural Fields

要約

条件付きニューラルフィールド（CNF）は、各データサンプルを共有バックボーンニューラルフィールド（NEF）を条件付けしてサンプルを再構築する潜在変数に関連付けることにより、連続信号表現としてますます活用されています。
ただし、既存のCNFアーキテクチャは、分類やセグメンテーションなど、細粒の幾何学的推論を必要とするタスクでこの潜在的な下流を使用する場合、制限に直面しています。
これは、CNFSの潜在空間における幾何学的情報の明示的なモデリングの不足（特徴の信号の局所性または特徴の方向）の欠如に起因すると仮定します。
このように、幾何学的に形成された交差時点を使用して、幾何学的変数（特徴の潜在点クラウド）にnefを条件付けるために、幾何学的に形成された交差時点を使用する新しいCNFアーキテクチャである等衛生神経界（ENF）を提案します。
フィールドに。
このアプローチは、フィールドと潜在性の両方がジオメトリに基づいており、変換法に適している操縦性特性を誘導することを示します。フィールドが変換された場合、潜在表現はそれに応じて変換され、逆も同様です。
重要なことに、この等寛容の関係により、潜在性が（1）幾何学的パターンを忠実に表現し、潜在空間での幾何学的推論を可能にし、（2）同様の局所パターンを重量共有し、フィールドのデータセットを効率的に学習できるようになります。
分類、セグメンテーション、予測、再構築、生成モデリングなど、さまざまなタスクでこれらの主要な特性を検証し、幾何学のない潜在スペースを使用したベースライン上の明確な改善を示します。
提出に添付されたコードhttps://github.com/dafidofff/enf-jax。
クリーンで最小限のリポジトリのコードhttps://github.com/david-knigge/enf-min-jax。

要約(オリジナル)

Conditional Neural Fields (CNFs) are increasingly being leveraged as continuous signal representations, by associating each data-sample with a latent variable that conditions a shared backbone Neural Field (NeF) to reconstruct the sample. However, existing CNF architectures face limitations when using this latent downstream in tasks requiring fine-grained geometric reasoning, such as classification and segmentation. We posit that this results from lack of explicit modelling of geometric information (e.g., locality in the signal or the orientation of a feature) in the latent space of CNFs. As such, we propose Equivariant Neural Fields (ENFs), a novel CNF architecture which uses a geometry-informed cross-attention to condition the NeF on a geometric variable–a latent point cloud of features–that enables an equivariant decoding from latent to field. We show that this approach induces a steerability property by which both field and latent are grounded in geometry and amenable to transformation laws: if the field transforms, the latent representation transforms accordingly–and vice versa. Crucially, this equivariance relation ensures that the latent is capable of (1) representing geometric patterns faithfully, allowing for geometric reasoning in latent space, and (2) weight-sharing over similar local patterns, allowing for efficient learning of datasets of fields. We validate these main properties in a range of tasks including classification, segmentation, forecasting, reconstruction and generative modelling, showing clear improvement over baselines with a geometry-free latent space. Code attached to submission https://github.com/Dafidofff/enf-jax. Code for a clean and minimal repo https://github.com/david-knigge/enf-min-jax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google