Weight Space Representation Learning on Diverse NeRF Architectures

要約

ニューラル放射輝度フィールド（NERF）は、神経ネットワークの重みに形状と外観情報をエンコードすることにより、3Dオブジェクトとシーンを表すための画期的なパラダイムとして浮上しています。
最近の研究では、これらの重みは、深い学習タスクに対処するように設計されたフレームワークの入力として使用できることが実証されています。
ただし、このようなフレームワークでは、特定の事前定義されたアーキテクチャを順守するためにnerfsが必要です。
このホワイトペーパーでは、多様なアーキテクチャを備えたナルフを処理し、トレーニング時に見られないアーキテクチャに関する推論を実行できる最初のフレームワークを紹介します。
これを達成し、監視されていない表現学習フレームワーク内でグラフメタネットワークをトレーニングし、対照的な目的がアーキテクチャに依存しない潜在スペースを取得するのに役立つことを示します。
3つのファミリー（MLP、TRIプレーン、および初めてハッシュテーブル）に属する13のNERFアーキテクチャにわたって実施された実験では、私たちのアプローチは、複数のアーキテクチャを含む分類および検索タスクにおける堅牢なパフォーマンスを実証します。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have emerged as a groundbreaking paradigm for representing 3D objects and scenes by encoding shape and appearance information into the weights of a neural network. Recent studies have demonstrated that these weights can be used as input for frameworks designed to address deep learning tasks; however, such frameworks require NeRFs to adhere to a specific, predefined architecture. In this paper, we introduce the first framework capable of processing NeRFs with diverse architectures and performing inference on architectures unseen at training time. We achieve this by training a Graph Meta-Network within an unsupervised representation learning framework, and show that a contrastive objective is conducive to obtaining an architecture-agnostic latent space. In experiments conducted across 13 NeRF architectures belonging to three families (MLPs, tri-planes, and, for the first time, hash tables), our approach demonstrates robust performance in classification and retrieval tasks involving multiple architectures, even unseen at training time, while also exceeding the results of existing frameworks limited to single architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google