A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields

要約

我々は、神経放射フィールドに剛体仮想オブジェクトを挿入するための最初のリアルタイム方法を紹介します。これにより、リアルな照明効果と影効果が生成され、オブジェクトのインタラクティブな操作が可能になります。
NeRF の照明とジオメトリに関する豊富な情報を活用することで、私たちの方法は、拡張現実でのオブジェクト挿入のいくつかの課題を克服します。
照明推定では、NeRF からの近接場照明と NeRF でカバーされない光源を考慮した環境照明を組み合わせた、正確で堅牢な 3D 空間的に変化する入射照明を生成します。
オクルージョンの場合、NeRF から統合された不透明度マップを使用して、レンダリングされた仮想オブジェクトを背景シーンとブレンドします。
影の場合、球状の符号付き距離フィールドの事前計算フィールドを使用して、仮想オブジェクトの周囲の任意の点の可視性項をクエリし、柔らかく詳細な影を 3D 表面に投影します。
最先端の技術と比較して、私たちのアプローチは、優れた忠実度で仮想オブジェクトをシーンに挿入することができ、拡張現実システムにさらに適用できる大きな可能性を秘めています。

要約(オリジナル)

We present the first real-time method for inserting a rigid virtual object into a neural radiance field, which produces realistic lighting and shadowing effects, as well as allows interactive manipulation of the object. By exploiting the rich information about lighting and geometry in a NeRF, our method overcomes several challenges of object insertion in augmented reality. For lighting estimation, we produce accurate, robust and 3D spatially-varying incident lighting that combines the near-field lighting from NeRF and an environment lighting to account for sources not covered by the NeRF. For occlusion, we blend the rendered virtual object with the background scene using an opacity map integrated from the NeRF. For shadows, with a precomputed field of spherical signed distance field, we query the visibility term for any point around the virtual object, and cast soft, detailed shadows onto 3D surfaces. Compared with state-of-the-art techniques, our approach can insert virtual object into scenes with superior fidelity, and has a great potential to be further applied to augmented reality systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google