DroNeRF: Real-time Multi-agent Drone Pose Optimization for Computing Neural Radiance Fields

要約

我々は、わずか数枚の画像を使用してリアルタイム 3D 再構成を行うために、物体の周囲で単眼カメラドローンを自律的に位置決めするための、DroNeRF と呼ばれる新しい最適化アルゴリズムを紹介します。
Neural Radiance Fields (NeRF) は、一連の入力画像からオブジェクトまたはシーンの新しいビューを生成するために使用される新しいビュー合成技術です。
NeRF とドローンを組み合わせて使用​​すると、特に動作が制限された制限されたシーン機能で、シーンの新しいビューを生成するユニークでダイナミックな方法が提供されます。
私たちのアプローチは、外部の位置特定システムを使用せずにオブジェクトの形状のみに依存しながら、個々のドローンの最適化された姿勢を計算することに焦点を当てています。
データ収集フェーズ中の独自のカメラ位置は、3D モデルの品質に大きな影響を与えます。
生成された新しいビューの品質を評価するために、ピーク信号対雑音比 (PSNR) や構造類似性指数測定 (SSIM) などのさまざまな知覚指標を計算します。
私たちの研究は、移動性が制限されたさまざまなドローンを最適に配置して、知覚的により良い結果を生み出す利点を実証しています。

要約(オリジナル)

We present a novel optimization algorithm called DroNeRF for the autonomous positioning of monocular camera drones around an object for real-time 3D reconstruction using only a few images. Neural Radiance Fields or NeRF, is a novel view synthesis technique used to generate new views of an object or scene from a set of input images. Using drones in conjunction with NeRF provides a unique and dynamic way to generate novel views of a scene, especially with limited scene capabilities of restricted movements. Our approach focuses on calculating optimized pose for individual drones while solely depending on the object geometry without using any external localization system. The unique camera positioning during the data-capturing phase significantly impacts the quality of the 3D model. To evaluate the quality of our generated novel views, we compute different perceptual metrics like the Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Measure(SSIM). Our work demonstrates the benefit of using an optimal placement of various drones with limited mobility to generate perceptually better results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google