Embed Any NeRF: Graph Meta-Networks for Neural Tasks on Arbitrary NeRF Architectures

要約

ニューラル放射輝度フィールド（NERF）は、神経ネットワークの重みに形状と外観情報をエンコードすることにより、3Dオブジェクトとシーンを表すための画期的なパラダイムとして浮上しています。
最近の作品は、そのような重みを入力として使用して、それらを処理して深い学習タスクを解決するためにどのように使用できるかを示しています。
しかし、これらのフレームワークは、特定の事前定義されたアーキテクチャでNERFのみを処理できます。
この論文では、複数のアーキテクチャでnerfsを摂取し、トレーニング時に見られないアーキテクチャに関する推論を実行できる最初のフレームワークを紹介します。
私たちは、表現学習フレームワークでグラフメタネットワークをトレーニングすることにより、この目標を達成します。
さらに、コントラストの目的が、アーキテクチャに依存しない潜在空間を取得することをどのように助長するかを示します。
MLPベースとトリプラナーの両方のナーフの両方の実験では、単一のアーキテクチャに制約されている既存のフレームワークのそれに一致またはそれを超える分類および検索タスクの堅牢なパフォーマンスを示しているため、ナルフスでタスクを実行する最初のアーキテクチャと存在する方法が提供されます。
重みを処理することにより。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have emerged as a groundbreaking paradigm for representing 3D objects and scenes by encoding shape and appearance information into the weights of a neural network. Recent works have shown how such weights can be used as input to frameworks processing them to solve deep learning tasks. Yet, these frameworks can only process NeRFs with a specific, predefined architecture. In this paper, we present the first framework that can ingest NeRFs with multiple architectures and perform inference on architectures unseen at training time. We achieve this goal by training a Graph Meta-Network in a representation learning framework. Moreover, we show how a contrastive objective is conducive to obtaining an architecture-agnostic latent space. In experiments on both MLP-based and tri-planar NeRFs, our approach demonstrates robust performance in classification and retrieval tasks that either matches or exceeds that of existing frameworks constrained to single architectures, thus providing the first architecture-agnostic method to perform tasks on NeRFs by processing their weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google