Correspondence Distillation from NeRF-based GAN

要約

ニューラル ラジアンス フィールド (NeRF) は、オブジェクトやシーンの細部を保存する上で有望な結果を示しています。
ただし、メッシュベースの表現とは異なり、同じカテゴリの異なる NeRF 間で密な対応関係を構築することは未解決の問題であり、これは多くのダウンストリーム タスクで不可欠です。
この問題の主な問題は、NeRF の暗黙の性質と、グラウンド トゥルース対応注釈の欠如にあります。
このホワイト ペーパーでは、事前トレーニング済みの NeRF ベースの GAN にカプセル化された豊富なセマンティクスと構造的な事前確率を活用することで、これらの課題を回避できることを示します。
具体的には、このような事前確率を 3 つの側面から利用します。つまり、1) 潜在コードをグローバルな構造指標として使用する二重変形フィールド、2) ジェネレーターの特徴を幾何学的に認識したローカル記述子と見なす学習目標、および 3) 無限オブジェクトのソースです。
固有の NeRF サンプル。
私たちの実験は、そのような事前確率が、正確で滑らかでロバストな 3D の密な対応につながることを示しています。
また、NeRF 全体で確立された密な対応により、テクスチャ転送などの多くの NeRF ベースのダウンストリーム アプリケーションを効果的に有効にできることも示しています。

要約(オリジナル)

The neural radiance field (NeRF) has shown promising results in preserving the fine details of objects and scenes. However, unlike mesh-based representations, it remains an open problem to build dense correspondences across different NeRFs of the same category, which is essential in many downstream tasks. The main difficulties of this problem lie in the implicit nature of NeRF and the lack of ground-truth correspondence annotations. In this paper, we show it is possible to bypass these challenges by leveraging the rich semantics and structural priors encapsulated in a pre-trained NeRF-based GAN. Specifically, we exploit such priors from three aspects, namely 1) a dual deformation field that takes latent codes as global structural indicators, 2) a learning objective that regards generator features as geometric-aware local descriptors, and 3) a source of infinite object-specific NeRF samples. Our experiments demonstrate that such priors lead to 3D dense correspondence that is accurate, smooth, and robust. We also show that established dense correspondence across NeRFs can effectively enable many NeRF-based downstream applications such as texture transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google