DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features

要約

私たちは、屋外の自動運転シーンにおける限られた 2D 観察から 3D 環境を理解するという課題に対処する自己教師あり学習フレームワークである DistillNeRF を提案します。
私たちの手法は、ビューの重なりが制限されたまばらな単一フレームのマルチビュー カメラ入力から豊富なニューラル シーン表現を予測する一般化可能なフィードフォワード モデルであり、RGB、深度、または特徴画像を再構成するために微分可能なレンダリングで自己教師ありトレーニングされます。
私たちの最初の洞察は、シーンごとに最適化された Neural Radiance Fields (NeRF) を利用して、そこから高密度の深度と仮想カメラ ターゲットを生成することです。これは、モデルがまばらな重複しない画像入力から強化された 3D ジオメトリを学習するのに役立ちます。
次に、意味的に豊かな 3D 表現を学習するために、CLIP や DINOv2 などの事前トレーニングされた 2D 基礎モデルから特徴を抽出することを提案します。これにより、コストのかかる 3D 人間による注釈を必要とせずに、さまざまな下流タスクが可能になります。
これら 2 つの洞察を活用するために、2 段階のリフト、スプラット、シュート エンコーダーとパラメーター化されたスパース階層ボクセル表現を備えた新しいモデル アーキテクチャを導入します。
NuScenes と Waymo NOTR データセットの実験結果は、DistillNeRF が、シーンの再構成、新しいビューの合成、深さの推定に関して、既存の同等の自己教師あり手法を大幅に上回ることを示しています。
また、競争力のあるゼロショット 3D セマンティック占有予測と、抽出された基礎モデル機能によるオープンワールド シーンの理解が可能になります。
デモとコードは https://distillnerf.github.io/ で入手できます。

要約(オリジナル)

We propose DistillNeRF, a self-supervised learning framework addressing the challenge of understanding 3D environments from limited 2D observations in outdoor autonomous driving scenes. Our method is a generalizable feedforward model that predicts a rich neural scene representation from sparse, single-frame multi-view camera inputs with limited view overlap, and is trained self-supervised with differentiable rendering to reconstruct RGB, depth, or feature images. Our first insight is to exploit per-scene optimized Neural Radiance Fields (NeRFs) by generating dense depth and virtual camera targets from them, which helps our model to learn enhanced 3D geometry from sparse non-overlapping image inputs. Second, to learn a semantically rich 3D representation, we propose distilling features from pre-trained 2D foundation models, such as CLIP or DINOv2, thereby enabling various downstream tasks without the need for costly 3D human annotations. To leverage these two insights, we introduce a novel model architecture with a two-stage lift-splat-shoot encoder and a parameterized sparse hierarchical voxel representation. Experimental results on the NuScenes and Waymo NOTR datasets demonstrate that DistillNeRF significantly outperforms existing comparable state-of-the-art self-supervised methods for scene reconstruction, novel view synthesis, and depth estimation; and it allows for competitive zero-shot 3D semantic occupancy prediction, as well as open-world scene understanding through distilled foundation model features. Demos and code will be available at https://distillnerf.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google