Color-NeuS: Reconstructing Neural Implicit Surfaces with Color

要約

多視点画像または単眼ビデオから物体表面を再構成することは、コンピュータ ビジョンの基本的な問題です。
ただし、最近の研究の多くは、陰的または陽的手法を使用してジオメトリを再構成することに重点を置いています。
この論文では、色と組み合わせてメッシュを再構築することに焦点を移します。
リライティング ネットワークを通じてボリューム レンダリングのパフォーマンスを維持しながら、ニューラル ボリューム レンダリングからビュー依存の色を削除します。
メッシュはサーフェスの符号付き距離関数 (SDF) ネットワークから抽出され、各サーフェス頂点の色はグローバル カラー ネットワークから描画されます。
私たちのアプローチを評価するために、多数のオクルージョンと照明条件の劇的な変化を特徴とする手持ちのオブジェクト スキャン タスクを考案しました。
このタスクのためにいくつかのビデオを集めましたが、その結果は、色とともにメッシュを再構築できる既存の方法を上回りました。
さらに、私たちの手法のパフォーマンスは、DTU、BlendedMVS、OmniObject3D などの公開データセットを使用して評価されました。
結果は、私たちの方法がこれらすべてのデータセットにわたって良好に機能することを示しました。
プロジェクトページ: https://colmar-zlicheng.github.io/color_neus。

要約(オリジナル)

The reconstruction of object surfaces from multi-view images or monocular video is a fundamental issue in computer vision. However, much of the recent research concentrates on reconstructing geometry through implicit or explicit methods. In this paper, we shift our focus towards reconstructing mesh in conjunction with color. We remove the view-dependent color from neural volume rendering while retaining volume rendering performance through a relighting network. Mesh is extracted from the signed distance function (SDF) network for the surface, and color for each surface vertex is drawn from the global color network. To evaluate our approach, we conceived a in hand object scanning task featuring numerous occlusions and dramatic shifts in lighting conditions. We’ve gathered several videos for this task, and the results surpass those of any existing methods capable of reconstructing mesh alongside color. Additionally, our method’s performance was assessed using public datasets, including DTU, BlendedMVS, and OmniObject3D. The results indicated that our method performs well across all these datasets. Project page: https://colmar-zlicheng.github.io/color_neus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google