OmniVoxel: A Fast and Precise Reconstruction Method of Omnidirectional Neural Radiance Field

要約

本稿では、正距円筒全方向画像を用いて神経放射輝度場を再構成する方法を提案する。
放射輝度フィールドを使用した暗黙的なニューラル シーン表現は、限られた空間領域内でシーンの 3D 形状を継続的に再構築できます。
ただし、商用 PC ハードウェアで完全に暗黙的な表現をトレーニングするには、多くの時間とコンピューティング リソースが必要です (シーンごとに 15 $\sim$ 20 時間)。
したがって、このプロセスを大幅に加速する方法を提案します (1 シーンあたり 20 $\sim$ 40 分)。
放射輝度場の再構成に光線の完全に暗黙的な表現を使用する代わりに、テンソルに密度と色の特徴を含む特徴ボクセルを採用します。
全方向正距円筒入力とカメラ レイアウトを考慮して、立方体表現の代わりに球体ボクセル化を表現に使用します。
私たちのボクセル化方法は、内側のシーンと外側のシーンの再構成品質のバランスを取ることができます。
さらに、全体的な画質を向上させるために、色の特徴に軸合わせ位置エンコード方式を採用しています。
私たちの方法は、ランダムなカメラポーズを持つ合成データセットで満足のいく経験的パフォーマンスを達成します。
さらに、複雑なジオメトリを含む実際のシーンでメソッドをテストし、最先端のパフォーマンスも実現します。
私たちのコードと完全なデータセットは、論文の出版と同時にリリースされます。

要約(オリジナル)

This paper proposes a method to reconstruct the neural radiance field with equirectangular omnidirectional images. Implicit neural scene representation with a radiance field can reconstruct the 3D shape of a scene continuously within a limited spatial area. However, training a fully implicit representation on commercial PC hardware requires a lot of time and computing resources (15 $\sim$ 20 hours per scene). Therefore, we propose a method to accelerate this process significantly (20 $\sim$ 40 minutes per scene). Instead of using a fully implicit representation of rays for radiance field reconstruction, we adopt feature voxels that contain density and color features in tensors. Considering omnidirectional equirectangular input and the camera layout, we use spherical voxelization for representation instead of cubic representation. Our voxelization method could balance the reconstruction quality of the inner scene and outer scene. In addition, we adopt the axis-aligned positional encoding method on the color features to increase the total image quality. Our method achieves satisfying empirical performance on synthetic datasets with random camera poses. Moreover, we test our method with real scenes which contain complex geometries and also achieve state-of-the-art performance. Our code and complete dataset will be released at the same time as the paper publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google