Canonical Fields: Self-Supervised Learning of Pose-Canonicalized Neural Fields

要約

座標ベースの暗黙的ニューラルネットワーク（ニューロフィールド）は、3次元コンピュータビジョンにおける形状や外観の有用な表現として浮上してきた。しかし、ShapeNetのような、3次元の位置と向き（ポーズ）が一貫して揃った正規化オブジェクトインスタンスを提供するデータセットがなければ、オブジェクトのカテゴリに対するニューラルフィールドを構築することは困難であることに変わりはない。我々は、ニューラルフィールド、特にニューラルラジアンスフィールド（NeRF）として表現されたオブジェクトカテゴリのインスタンスの3Dポーズを正規化する自己教師付き手法、キャノニカルフィールドネットワーク（CaFi-Net）を紹介します。CaFi-Netは、カテゴリレベルの正準化のために、等変量フィールド特徴を抽出するように設計されたシャムネットワークアーキテクチャを用いて、連続的でノイズの多い輝度フィールドから直接学習する。本手法は推論時に、任意の3次元姿勢の新規オブジェクトインスタンスの事前学習された神経輝度場を用い、カテゴリ全体にわたって一貫した3次元姿勢を持つ正準場を推定する。13のオブジェクトカテゴリにまたがる1300のNeRFモデルからなる新しいデータセットに対する広範な実験により、我々の手法は3D点群ベースの手法と同等かそれ以上の性能を持つことが示された。

要約(オリジナル)

Coordinate-based implicit neural networks, or neural fields, have emerged as useful representations of shape and appearance in 3D computer vision. Despite advances however, it remains challenging to build neural fields for categories of objects without datasets like ShapeNet that provide canonicalized object instances that are consistently aligned for their 3D position and orientation (pose). We present Canonical Field Network (CaFi-Net), a self-supervised method to canonicalize the 3D pose of instances from an object category represented as neural fields, specifically neural radiance fields (NeRFs). CaFi-Net directly learns from continuous and noisy radiance fields using a Siamese network architecture that is designed to extract equivariant field features for category-level canonicalization. During inference, our method takes pre-trained neural radiance fields of novel object instances at arbitrary 3D pose, and estimates a canonical field with consistent 3D pose across the entire category. Extensive experiments on a new dataset of 1300 NeRF models across 13 object categories show that our method matches or exceeds the performance of 3D point cloud-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL