PeRFception: Perception using Radiance Fields

要約

暗黙的な 3D 表現、つまり Neural Radiance Fields (NeRF) の最近の進歩により、正確でフォトリアリスティックな 3D 再構成が微分可能な方法で可能になりました。
この新しい表現は、何百もの高解像度画像の情報を 1 つのコンパクトな形式で効果的に伝えることができ、斬新なビューの写真のようにリアルな合成を可能にします。
この作業では、Plenoxels と呼ばれる NeRF のバリアントを使用して、PeRFception と呼ばれる認識タスク用の大規模な暗黙的表現データセットを作成します。これは、分類とセグメンテーションのためのオブジェクト中心スキャンとシーン中心スキャンの両方を組み込んだ 2 つの部分で構成されます。
.
元のデータセットからの大幅なメモリ圧縮率 (96.4\%) を示していますが、2D と 3D の両方の情報が統一された形式で含まれています。
この暗黙的な形式を入力として直接受け取る分類モデルとセグメンテーション モデルを構築し、画像の背景への過剰適合を回避するための新しい拡張手法も提案します。
コードとデータは https://postech-cvlab.github.io/PeRFception で公開されています。

要約(オリジナル)

The recent progress in implicit 3D representation, i.e., Neural Radiance Fields (NeRFs), has made accurate and photorealistic 3D reconstruction possible in a differentiable manner. This new representation can effectively convey the information of hundreds of high-resolution images in one compact format and allows photorealistic synthesis of novel views. In this work, using the variant of NeRF called Plenoxels, we create the first large-scale implicit representation datasets for perception tasks, called the PeRFception, which consists of two parts that incorporate both object-centric and scene-centric scans for classification and segmentation. It shows a significant memory compression rate (96.4\%) from the original dataset, while containing both 2D and 3D information in a unified form. We construct the classification and segmentation models that directly take as input this implicit format and also propose a novel augmentation technique to avoid overfitting on backgrounds of images. The code and data are publicly available in https://postech-cvlab.github.io/PeRFception .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google