VisFusion: Visibility-aware Online 3D Scene Reconstruction from Videos

要約

タイトル：VisFusion：ビデオからの可視性に配慮したオンライン3Dシーン再構築

要約：この論文では、単眼ビデオからの可視性に配慮したオンライン3Dシーン再構築アプローチ、VisFusionを提案します。特に、容積的特徴からシーンを再構築することを目的としています。以前の再構築手法は、可視性を考慮せずに各ボクセルの特徴を入力ビューから集約していましたが、私たちは、各画像ペアで投影された特徴から計算される類似行列から可視性を明示的に推測することで特徴の融合を改善することを目指しています。私たちのモデルは、粗いから細かいパイプラインで構成され、体積の疎化プロセスを含んでいます。従来の手法とは異なり、我々は各視線に沿った局所特徴ボリュームで体積を疎化し、より細かい詳細を保存するために少なくとも1つのボクセルを各視線に保持します。疎な局所ボリュームは、オンライン再構築のためにグローバルなものと融合されます。また、スケールごとにその残差を学習することで、より良いTSDF予測を導くことができるように、荒から細かい方法でTSDFを予測することを提案しています。ベンチマークにおける実験結果は、私たちの手法がより多くのシーンの詳細を持つ優れた性能を発揮することを示しています。コードは https://github.com/huiyu-gao/VisFusion で入手可能です。

– 可視性に配慮したオンライン3Dシーン再構築アプローチ、VisFusionを提案
– 粗いから細かいパイプラインで構成されるモデルは体積の疎化プロセスを含む
– 各画像ペアで投影された特徴から計算される類似行列から可視性を明示的に推測することで特徴の融合を改善する
– 各視線に沿った局所特徴ボリュームで体積疎化し、少なくとも1つのボクセルを各視線に保持して細かな詳細を保存する
– 疎な局所ボリュームをグローバルなものと融合してオンライン再構築を行う
– 荒から細かい方法でTSDFを予測することで、残差を学習し、より良いTSDF予測につなげる
– ベンチマーク実験において、私たちの手法はより多くの場面詳細を備えた優れた性能を発揮することが確認された
– コードは https://github.com/huiyu-gao/VisFusion で入手可能

要約(オリジナル)

We propose VisFusion, a visibility-aware online 3D scene reconstruction approach from posed monocular videos. In particular, we aim to reconstruct the scene from volumetric features. Unlike previous reconstruction methods which aggregate features for each voxel from input views without considering its visibility, we aim to improve the feature fusion by explicitly inferring its visibility from a similarity matrix, computed from its projected features in each image pair. Following previous works, our model is a coarse-to-fine pipeline including a volume sparsification process. Different from their works which sparsify voxels globally with a fixed occupancy threshold, we perform the sparsification on a local feature volume along each visual ray to preserve at least one voxel per ray for more fine details. The sparse local volume is then fused with a global one for online reconstruction. We further propose to predict TSDF in a coarse-to-fine manner by learning its residuals across scales leading to better TSDF predictions. Experimental results on benchmarks show that our method can achieve superior performance with more scene details. Code is available at: https://github.com/huiyu-gao/VisFusion

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI