Drone-NeRF: Efficient NeRF Based 3D Scene Reconstruction for Large-Scale Drone Survey

要約

ニューラル レンダリングは、リアルな 3D シーンを作成できるため、大きな注目を集めています。
ただし、広範なシーンへの適用は依然として困難であり、有効性には限界があります。
この研究では、Neural Radiance Fields (NeRF) を使用したドローン斜め写真に適した無制限の大規模シーンの効率的な再構成を強化する Drone-NeRF フレームワークを提案します。
私たちのアプローチには、カメラの位置と深度の可視性に基づいてシーンを均一なサブブロックに分割することが含まれます。
サブシーンは NeRF を使用して並行してトレーニングされ、完全なシーンにマージされます。
カメラのポーズを最適化し、均一なサンプラーで NeRF をガイドすることでモデルを改良します。
選択したサンプルを統合すると精度が向上します。
ハッシュコード化されたフュージョン MLP は密度表現を加速し、RGB および深度出力を生成します。
私たちのフレームワークは、サブシーンの制約を考慮し、並列トレーニング ノイズを軽減し、シャドウ オクルージョンを処理し、洗練されたレンダリング結果を得るためにサブ領域をマージします。
この Drone-NeRF フレームワークは、ドローンで取得した画像のシーンの複雑さ、レンダリング効率、精度に関連する課題に対処する上で有望な機能を実証します。

要約(オリジナル)

Neural rendering has garnered substantial attention owing to its capacity for creating realistic 3D scenes. However, its applicability to extensive scenes remains challenging, with limitations in effectiveness. In this work, we propose the Drone-NeRF framework to enhance the efficient reconstruction of unbounded large-scale scenes suited for drone oblique photography using Neural Radiance Fields (NeRF). Our approach involves dividing the scene into uniform sub-blocks based on camera position and depth visibility. Sub-scenes are trained in parallel using NeRF, then merged for a complete scene. We refine the model by optimizing camera poses and guiding NeRF with a uniform sampler. Integrating chosen samples enhances accuracy. A hash-coded fusion MLP accelerates density representation, yielding RGB and Depth outputs. Our framework accounts for sub-scene constraints, reduces parallel-training noise, handles shadow occlusion, and merges sub-regions for a polished rendering result. This Drone-NeRF framework demonstrates promising capabilities in addressing challenges related to scene complexity, rendering efficiency, and accuracy in drone-obtained imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google