DroNeRF: Real-time Multi-agent Drone Pose Optimization for Computing Neural Radiance Fields

要約

DroNeRF と呼ばれる新しい最適化アルゴリズムを提示し、単眼カメラ ドローンをオブジェクトの周囲に自律的に配置して、少数の画像のみを使用してリアルタイム 3D 再構成を行います。
Neural Radiance Fields または NeRF は、一連の入力画像からオブジェクトまたはシーンの新しいビューを生成するために使用される新しいビュー合成技術です。
ドローンを NeRF と組み合わせて使用​​すると、シーンの斬新なビューを生成するユニークでダイナミックな方法が提供されます。特に、制限された動きの限られたシーン機能があります。
私たちのアプローチは、外部のローカリゼーション システムを使用せずに、オブジェクトのジオメトリのみに依存しながら、個々のドローンの最適化されたポーズを計算することに焦点を当てています。
データ キャプチャ段階での独自のカメラの配置は、3D モデルの品質に大きな影響を与えます。
生成された新しいビューの品質を評価するために、ピーク信号対雑音比 (PSNR) や構造的類似性指標測定 (SSIM) などのさまざまな知覚メトリックを計算します。
私たちの仕事は、知覚的により良い結果を生み出すために、可動性が制限されたさまざまなドローンの最適な配置を使用する利点を示しています。

要約(オリジナル)

We present a novel optimization algorithm called DroNeRF for the autonomous positioning of monocular camera drones around an object for real-time 3D reconstruction using only a few images. Neural Radiance Fields or NeRF, is a novel view synthesis technique used to generate new views of an object or scene from a set of input images. Using drones in conjunction with NeRF provides a unique and dynamic way to generate novel views of a scene, especially with limited scene capabilities of restricted movements. Our approach focuses on calculating optimized pose for individual drones while solely depending on the object geometry without using any external localization system. The unique camera positioning during the data-capturing phase significantly impacts the quality of the 3D model. To evaluate the quality of our generated novel views, we compute different perceptual metrics like the Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Measure(SSIM). Our work demonstrates the benefit of using an optimal placement of various drones with limited mobility to generate perceptually better results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google