OmniNeRF: Hybriding Omnidirectional Distance and Radiance fields for Neural Surface Reconstruction

要約

画像からの 3D 再構成は、精度の要件が非常に高いバーチャル リアリティや自動運転に幅広い用途があります。
多層知覚を利用した神経放射場 (NeRF) の画期的な研究により、3D オブジェクトの表現品質が劇的に向上しました。
その後のいくつかの研究では、切り捨てられた符号付き距離フィールド (TSDF) を構築することで NeRF が改善されましたが、3D 再構成で表面がぼやけるという問題がまだ残っています。
この作業では、この表面のあいまいさは、3D 形状表現の新しい方法である OmniNeRF を提案することによって対処されます。
これは、無指向性ディスタンス フィールド (ODF) とニューラル ラディアンス フィールドのハイブリッド インプリシット フィールドのトレーニングに基づいており、NeRF の見かけの密度を無指向性情報に置き換えています。
さらに、深度マップに追加の監視を導入して、再構成の品質をさらに向上させます。
提案された方法は、表面再構成のエッジでの NeRF 欠陥を効果的に処理することが証明されており、より高品質の 3D シーン再構成結果を提供します。

要約(オリジナル)

3D reconstruction from images has wide applications in Virtual Reality and Automatic Driving, where the precision requirement is very high. Ground-breaking research in the neural radiance field (NeRF) by utilizing Multi-Layer Perceptions has dramatically improved the representation quality of 3D objects. Some later studies improved NeRF by building truncated signed distance fields (TSDFs) but still suffer from the problem of blurred surfaces in 3D reconstruction. In this work, this surface ambiguity is addressed by proposing a novel way of 3D shape representation, OmniNeRF. It is based on training a hybrid implicit field of Omni-directional Distance Field (ODF) and neural radiance field, replacing the apparent density in NeRF with omnidirectional information. Moreover, we introduce additional supervision on the depth map to further improve reconstruction quality. The proposed method has been proven to effectively deal with NeRF defects at the edges of the surface reconstruction, providing higher quality 3D scene reconstruction results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google