Deep Learning on Object-centric 3D Neural Fields

要約

近年、ニューラル フィールド (NF) は、画像、ビデオ、オーディオ、3D 形状などの多様な連続信号をエンコードするための効果的なツールとして登場しました。
NF を 3D データに適用すると、一般的な離散表現に伴う断片化と制限に対する解決策が提供されます。
ただし、NF が本質的にニューラル ネットワークであることを考えると、下流のタスクを解決するために深層学習パイプラインに NF をシームレスに統合できるかどうか、またその方法は不明のままです。
この論文では、この研究課題に取り組み、単一の推論パスで入力 NF のコンパクトな潜在表現を生成できるフレームワークである nf2vec を紹介します。
nf2vec が入力 NF によって表される 3D オブジェクトを効果的に埋め込むことを実証し、得られた埋め込みを深層学習パイプラインで使用して、NF のみを処理しながらさまざまなタスクに適切に対処する方法を紹介します。
このフレームワークを、符号なし/符号付きの距離フィールドや占有フィールドなど、3D サーフェスを表現するために使用されるいくつかの NF でテストします。
さらに、神経放射フィールドなどの 3D オブジェクトの形状と外観の両方を含む、より複雑な NF を使用したアプローチの有効性を実証します。

要約(オリジナル)

In recent years, Neural Fields (NFs) have emerged as an effective tool for encoding diverse continuous signals such as images, videos, audio, and 3D shapes. When applied to 3D data, NFs offer a solution to the fragmentation and limitations associated with prevalent discrete representations. However, given that NFs are essentially neural networks, it remains unclear whether and how they can be seamlessly integrated into deep learning pipelines for solving downstream tasks. This paper addresses this research problem and introduces nf2vec, a framework capable of generating a compact latent representation for an input NF in a single inference pass. We demonstrate that nf2vec effectively embeds 3D objects represented by the input NFs and showcase how the resulting embeddings can be employed in deep learning pipelines to successfully address various tasks, all while processing exclusively NFs. We test this framework on several NFs used to represent 3D surfaces, such as unsigned/signed distance and occupancy fields. Moreover, we demonstrate the effectiveness of our approach with more complex NFs that encompass both geometry and appearance of 3D objects such as neural radiance fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google